JP4605216B2

JP4605216B2 - 撮像装置および撮像方法

Info

Publication number: JP4605216B2
Application number: JP2007333089A
Authority: JP
Inventors: 元宏中筋; 隆亀山; 克美金子; 文彦須藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-01-22
Filing date: 2007-12-25
Publication date: 2011-01-05
Anticipated expiration: 2023-01-22
Also published as: JP2008118698A

Description

本発明は、撮像装置および撮像方法に関する。

従来の映画制作等では、特殊な映像効果を得ることができるように、フィルムカメラの撮影速度、すなわち１秒間のコマ数を可変させた撮影が行われている。例えば、撮影は通常の速度よりも高速で行い、再生は通常速度で行う。この場合、再生画像は水面に水滴が落下したときのような高速度動作を容易かつ詳細に観察できる画像となる。また、撮影は通常の速度よりも低速で行い、再生は通常速度で行う。この場合、再生画像は格闘シーンの臨場感を高めたりカーチェイスでのスピード感を高めた画像となる。

また、テレビジョン番組制作等では、番組の撮像や編集および送出等のディジタル化がはかられていたが、ディジタル技術の進展に伴う高画質化や機器の低価格化に伴い、映画制作等においてもディジタル化がはかられてきている。

ところで、映画製作等のディジタル化によりビデオカメラを用いて撮像を行うものとした場合、撮像素子例えばＣＣＤ（Charge Coupled Device）での出力間隔を可変することで、上述のように撮像速度すなわち単位時間あたりのフレーム数を可変することができる。しかし、ＣＣＤの各画素の電荷蓄積量は、撮像素子の構造等から予め決まっており、このＣＣＤの許容電荷蓄積量を超えて電荷の蓄積が行われると、ブルーミング等の不具合を生じてしまう。したがって、低速度撮像時（単位時間当たりのフレーム数を通常撮像時よりも少ないものとするとき）には、ＣＣＤの許容電荷蓄積量を超えて電荷の蓄積が行われることが無いように、機械的あるいは電子的にアイリスを絞ってＣＣＤへの入射光量を少なくしたり、メカニカルシャッターあるいは電子シャッターのシャッター開期間を短くしなければならない。

図１Ａ〜図１Ｃは、通常撮像時と低速度撮像時におけるＣＣＤでの電荷蓄積量をモデル化して示したものである。図１Ａは通常撮像の場合を示しており、「ＱＭ」は１画素の許容電荷蓄積量、「ＱＡ」は撮像画像の電荷蓄積量、「ＱＮ」はノイズによって生じた電荷蓄積量を示している。なお、撮像画像の電荷蓄積量は、ＣＣＤへの単位時間当たりの入射光量によって変化するものである。

図１Ｂは低速度撮像時の場合を示している。低速度撮像時では、例えば入射光量が通常撮像時と等しいと共に撮像速度が通常撮像の１／３倍であるとき、ＣＣＤにおける電荷蓄積期間は３倍となる。このため、撮像画像の電荷蓄積量は「３ＱＡ」、ノイズによって生じる電荷蓄積量は「３ＱＮ」となり、撮像画像とノイズによる電荷蓄積量は許容電荷蓄積量「ＱＭ」を超えてしまう。このため、上述したようにＣＣＤは、ブルーミング等の不具合を生じてしまう。

次に、撮像画像とノイズによる電荷蓄積量が許容電荷蓄積量を超えないようにＣＣＤへの入射光量をアイリス等によって少なくして低速度撮像を行った場合を図１Ｃに示す。例えば、撮像速度を１／３倍とするとともにアイリスを絞って入射光量を１／３として電荷蓄積量を同じとするとき、ＣＣＤにおける電荷蓄積期間は３倍となるため、ノイズによる電荷蓄積量は「３ＱＮ」となり撮像画像の電荷蓄積量は例えば「ＱＢ」となる。このように撮像画像の電荷蓄積量が少なくなるので、撮像画像とノイズによる電荷蓄積量は許容電荷蓄積量「ＱＭ」を超えない。しかし、撮像画像の電荷蓄積量に対してノイズによる電荷蓄積量の割合が増えてしまうことから、撮像画像はＳ／Ｎ比が悪化してノイズの多い画像となってしまう。

また、上述のようにＣＣＤにおける電荷蓄積期間を長くして低速度撮像を行うものとすると、低速度撮像を行って得た所望のフレームレートの本線画像信号に基づく撮像画像は、画像の更新間隔が長くなる。このため、本線画像信号を撮像画像監視のためのモニタ画像信号として用いると、電子ビューファインダ等の画像表示装置に表示される撮像画像の更新間隔が長くなる。ここで、例えば撮像者が電子ビューファインダの表示画像を参照しならが、動きの速い被写体を画面中央位置とするように撮像方向を調整したとき、実際の被写体の位置は表示されている被写体の位置よりも進んだ位置となってしまい、被写体を所望の位置として正しく撮像することができないおそれがある。

この発明に係る撮像装置は、被写体を撮像して撮像フレームレートの画像信号を生成する撮像手段と、撮像フレームレートの画像信号に対してフレーム加算を行い出力フレームレートの画像信号を生成する加算処理手段と、出力フレームレートの画像信号に対してプロセス処理を行う信号処理手段と、撮像フレームレートの画像信号から、出力フレームレートと独立したフレームレートのモニタ画像信号を生成するモニタ画処理手段とを有するものである。

この発明に係る撮像方法は、被写体を撮像して撮像フレームレートの画像信号を生成する第１のステップと、撮像フレームレートの画像信号に対してフレーム加算を行い出力フレームレートの画像信号を生成する第２のステップと、出力フレームレートの画像信号に対してプロセス処理を行う第３のステップと、撮像フレームレートの画像信号から、出力フレームレートと独立したフレームレートのモニタ画像信号を生成する第４のステップとを有するものである。

この発明においては、被写体を撮像して撮像フレームレートの画像信号が生成されて、この撮像フレームレートの画像信号に対してフレーム加算を行い出力フレームレートの画像信号が生成される。また、撮像フレームレートの画像信号から、出力フレームレートと独立したフレームレートのモニタ画像信号が生成される。出力フレームレートの画像信号はプロセス処理が行われる。出力フレームレートの画像信号は、画像信号のフレーム加算を行うとともに、加算フレーム数の切り換えを行うことで生成される。また、画像信号のフレームレートが可変されて、出力フレームレートと独立したフレームレートのモニタ画像信号が生成される。また、画像信号の撮像フレームレートが例えばＣＤＲ方式（Common Data Rate:共通サンプリング周波数方式）を用いて変更可能とされる。この画像信号の撮像フレームレートが可変されて、出力フレームレートと独立したフレームレートのモニタ画像信号の生成や、画像信号の撮像フレームレートとモニタ画像信号のフレームレートが等しくすることで出力フレームレートと独立したフレームレートのモニタ画像信号の生成が行われる。

以下、本発明をより詳細に説述するために、図面を用いてこれを説明する。図２Ａ〜図２Ｈ、図２Ｊ〜図２Ｌは、撮像速度（フレームレート）を可変してすなわち単位時間当たりのフレーム数を可変して、どのように画像信号を生成しているかを示す動作原理図である。

図２Ａに示す被写体ＯＢaが、例えば所定時間で位置ＰＪ1から図２Ｂに示す位置ＰＪ3まで移動したとき、撮像速度がこの所定時間で１フレームの画像を生成するものであるときには図２Ｃに示す画像となり、ＰＬライン位置の画像信号ＳＬaの信号レベルは図２Ｄの実線で示すものとなる。ここで、画像信号ＳＬaの信号レベルが「Ｌp」となって電荷蓄積量が撮像素子の許容電荷蓄積量となると、画像信号ＳＬaが飽和してしまう。次に、撮像速度を２倍とすると、最初のフレームの画像は図２Ｅに示すように、被写体ＯＢaが位置ＰＪ1から位置ＰＪ2まで移動したものとなり、ＰＬラインの位置の画像信号ＳＬbは図２Ｆに示すものとなる。また、次のフレームの画像は図２Ｇに示すように、被写体ＯＢaが位置ＰＪ2から位置ＰＪ3まで移動したものとなり、ＰＬラインの位置の画像信号ＳＬcは図２Ｈに示すものとなる。ここで、図２Ｅと図２Ｆに示した２フレームの画像を加算したときのＰＬライン位置の画像信号ＳＬbcは、図２Ｊの実線で示すように画像信号ＳＬbと画像信号ＳＬcを加算した信号となる。この画像信号ＳＬbcを画像の加算フレーム数で除算すると図２Ｋの実線で示すものとなる。この図２Ｋに示す画像信号ＳＬdに基づく画像は図２Ｌとなり、画像信号ＳＬaが飽和することなく、被写体ＯＢaが位置ＰＪ1から位置ＰＪ3まで移動した画像を正しく表示できる。すなわち、撮像速度を低速度としなくとも、撮像画像を加算して信号レベルを調整することで、低速度撮像の撮像画像を得ることができる。このため、本形態では、撮像画像のフレーム加算を行うことで所望の撮像速度まで撮像フレームレートを低下させることなく所望の低速度撮像画像を得るものである。

図３は、本形態の撮像装置の第１の構成の概要を示している。撮像ブロック２０では、駆動ブロック７０からの駆動制御信号ＲＣに基づき撮像素子を駆動して撮像フレームレートの画像信号ＤＶbを生成して本線画処理ブロック４０とモニタ画処理ブロック５０に供給する。本線画処理ブロック４０では、制御ブロック６０からの制御信号に基づきフレーム加算を行い、本線画像信号を生成する。この本線画処理ブロック４０は、本線画処理ブロック４０で生成した信号を出力するための本線画出力端子４５を有している。モニタ画処理ブロック５０では、制御ブロック６０からの制御信号に基づきフレームレート変換を行い、モニタ画像信号を生成する。また、モニタ画処理ブロック５０は、モニタ画処理ブロック５０で生成した信号を出力するためのモニタ画出力端子５５を有している。制御ブロック６０では、本線画像信号が所望のフレームレートとなるように撮像フレームレートとフレーム加算におけるフレーム数を制御する。また、モニタ画像信号が本線画像信号とは独立したモニタ画表示に適したフレームレート（以下「モニタフレームレート」という）となるようにフレームレート変換動作を制御する。

図４は撮像装置の第１の構成を示すブロック図である。撮像レンズ１１およびアイリス１２を通して入射された光は撮像ブロック２０に相当する撮像部２１に入射されて、撮像素子の撮像面上に被写体画像が結像される。なお、撮像素子としては、ＣＣＤやＣＭＯＳ撮像素子、ＢＢＤ撮像素子等を用いることができるが、以下の説明では、撮像素子としてＣＣＤを用いた場合を説明する。ＣＣＤは、光電変換によって被写体画像の撮像電荷を生成し、駆動ブロック７０に相当する駆動部７１からの駆動制御信号ＲＣに基づいて撮像電荷を読み出して電圧信号に変換する。さらに、この電圧信号を三原色の画像信号Ｓpaとして前処理部３１に供給する。

前処理部３１は、画像信号Ｓpaからノイズ成分を除去する処理、例えば相関二重サンプリング処理を行い、ノイズ除去された画像信号Ｓpaを画像信号ＳpbとしてＡ／Ｄ変換部３２に供給する。Ａ／Ｄ変換部３２は、画像信号Ｓpbをディジタルの画像信号ＤＶaに変換してフィードバッククランプ部３３に供給する。また、フィードバッククランプ部３３から供給された誤差信号に基づき、画像信号Ｓpbを画像信号ＤＶaに変換する際の変換動作を補正する。フィードバッククランプ部３３は、帰線期間の黒レベル信号と基準信号との誤差を検出してＡ／Ｄ変換部３２に供給する。このため、Ａ／Ｄ変換部３２とフィードバッククランプ部３３によって、安定した黒レベルで所要の大きさの画像信号ＤＶaを得ることができる。

補正処理部３４は、画像信号ＤＶaに対してシェーディング補正や撮像素子の欠陥に対する補正処理および撮像レンズ１１でのレンズ収差の補正等を行う。この補正処理部３４で補正処理が行われた画像信号ＤＶaは、画像信号ＤＶbとして本線画処理ブロック４０のフレーム加算部４１とモニタ画処理ブロック５０のフレームレート変換部５１に供給される。

なお、この形態では、撮像部２１から三原色の画像信号Ｓpaを出力するものとしたが、輝度信号と色差信号を出力するものとしても良い。さらにカラー画像信号に限らず白黒画像の画像信号等を出力するものでも良い。また、前処理部３１，フィードバッククランプ部３３，補正処理部３４および後述する出力信号処理部４２やモニタ信号処理部５２は、良好な撮像画像を得るためのものであり、この発明の撮像装置を構成するうえで必ずしも必要となるものではない。例えば、撮像部２１で画像信号Ｓpaをディジタル信号に変換したのち、この信号を画像信号ＤＶbとして本線画処理ブロック４０のフレーム加算部４１とモニタ画処理ブロック５０のフレームレート変換部５１に供給するものとしても良い。また、後述するように、本線画処理ブロック４０の出力信号処理部４２やモニタ画処理ブロック５０のモニタ信号処理部５２を介することなく信号を出力するものとしてもよい。

図５は、フレーム加算部４１の構成を示している。フレーム加算部４１は、制御ブロック６０に相当する制御部６１からの制御信号に基づき、画像信号ＤＶbを用いてのフレーム加算処理を行う。補正処理部３４から供給された画像信号ＤＶbは、加算器４１１と信号セレクタ４１２の端子Ｐaに供給される。加算器４１１には、後述する信号セレクタ４１５から画像信号ＤＶfを供給して、画像信号ＤＶbと画像信号ＤＶfを加算する。この加算器４１１で得られた加算信号ＤＶgは、信号セレクタ４１２の端子Ｐbに供給される。

信号セレクタ４１２の可動端子Ｐmは、信号セレクタ４１３の可動端子Ｐmと接続されている。信号セレクタ４１２は、後述する制御部６１からの制御信号ＣＴaに基づき、端子Ｐaに供給された画像信号ＤＶbあるいは端子Ｐbに供給された加算信号ＤＶgのいずれかを選択して、選択した信号を画像信号ＤＶcとして信号セレクタ４１３の可動端子Ｐmに供給する。

信号セレクタ４１３は、制御部６１からの制御信号ＣＴbに基づき可動端子Ｐmを３つの端子Ｐa，Ｐb，Ｐcのいずれかに接続して、信号セレクタ４１２から供給された画像信号ＤＶcを、可動端子Ｐmに接続された端子から出力する。ここで、信号セレクタ４１３の端子Ｐaは、ＲＡＭ（Random Access Memory）４１４-1の信号入力端子と接続されている。また、信号セレクタ４１３の端子Ｐbは、ＲＡＭ４１４-2の信号入力端子と接続されており、端子ＰcはＲＡＭ４１４-3の信号入力端子と接続されている。

ＲＡＭ４１４-1は、信号セレクタ４１３の端子Ｐaを介して供給された画像信号ＤＶcを、制御部６１から供給された書込制御信号ＷＴaに基づいて記憶する。また、ＲＡＭ４１４-1は、記憶している画像信号ＤＶcを、制御部６１から供給された読出制御信号ＲＴaに基づいて読み出し、画像信号ＤＶm-1として信号セレクタ４１５の端子Ｐaと信号セレクタ４１６の端子Ｐbに供給する。

同様に、ＲＡＭ４１４-2，４１４-3は、信号セレクタ４１３の端子Ｐb，Ｐcを介して供給された画像信号ＤＶcを、制御部６１から供給された書込制御信号ＷＴaに基づいて記憶する。また、ＲＡＭ４１４-2，４１４-3に記憶している画像信号ＤＶcを、制御部６１から供給された読出制御信号ＲＴaに基づいて読み出し、画像信号ＤＶm-2，ＤＶm-3として信号セレクタ４１５の端子Ｐb，Ｐcと信号セレクタ４１６の端子Ｐc，Ｐdに供給する。

信号セレクタ４１５の可動端子Ｐmは、加算器４１１と接続されている。信号セレクタ４１５は、制御部６１からの制御信号ＣＴcに基づき、可動端子Ｐmを端子Ｐa，Ｐb，Ｐcのいずれかに切り換えることで画像信号ＤＶm-1〜ＤＶm-3のいずれかを選択する。この信号セレクタ４１５で選択された画像信号は、画像信号ＤＶfとして加算器４１１に供給される。

信号セレクタ４１６の端子Ｐaは、ブランクフレーム設定回路４１７と接続されている。ブランクフレーム設定回路４１７は、一定レベル（例えば０レベル）の画像信号ＤＶm-Bを生成して信号セレクタ４１６の端子Ｐaに供給する。信号セレクタ４１６の可動端子Ｐmは、レベル調整回路４１８と接続されている。信号セレクタ４１６は、制御部６１からの制御信号ＣＴdに基づき可動端子Ｐmを端子Ｐa，Ｐb，Ｐc，Ｐdのいずれかに切り換えて、画像信号ＤＶm-1〜ＤＶm-3，ＤＶm-Bのいずれかを選択することにより、所望の出力フレームレートで画像が含まれた信号を生成する。この信号セレクタ４１６ｄで選択された信号は、画像信号ＤＶhとしてレベル調整回路４１８に供給される。

レベル調整回路４１８は、制御部６１から供給された制御信号ＣＴeに基づき、加算フレーム数に応じて画像信号ＤＶhの信号レベルを調整して、本線画像信号ＤＶjとして出力信号処理部４２に供給する。

フレームレート変換部５１は、画像信号ＤＶbのフレームレートを、撮像画像確認用として接続された電子ビューファインダー等の画像表示装置に応じたモニタフレームレートに変換する。図６は、フレームレート変換部５１の構成を示している。

補正処理部３４から供給された画像信号ＤＶbは、信号セレクタ５１１の可動端子Ｐmに供給される。信号セレクタ５１１の端子ＰaはＲＡＭ５１２aと接続されている。また、端子ＰbはＲＡＭ５１２bと接続されている。信号セレクタ５１１は、制御部６１からの制御信号ＣＴfに基づき可動端子Ｐmを端子Ｐaあるいは端子Ｐbに切り換えて、可動端子Ｐmに供給された画像信号ＤＶbを、ＲＡＭ５１２aあるいはＲＡＭ５１２bに供給する。

ＲＡＭ５１２a，５１２bは、信号の書き込みと読み出しを同時に行うことが可能なＲＡＭ、例えばデュアルポートＲＡＭを用いて構成する。ＲＡＭ５１２aあるいはＲＡＭ５１２bは、信号セレクタ５１１を介して供給された画像信号ＤＶbを、制御部６１から供給された書込制御信号ＷＴbに基づいて記憶する。例えば、信号セレクタ５１１は、１フレーム毎に可動端子Ｐmを端子Paあるいは端子Pbに切り換えて、ＲＡＭ５１２aとＲＡＭ５１２bに１フレーム分の画像信号ＤＶbを交互に記憶させる。また、ＲＡＭ５１２aあるいはＲＡＭ５１２bは、制御部６１からの読出制御信号ＲＴbに基づき、記憶している画像信号ＤＶbをモニタフレームレートに応じた速度で読み出して信号セレクタ５１３の端子Ｐaあるいは端子Ｐbに供給する。

信号セレクタ５１３は、制御部６１からの制御信号ＣＴgに基づき可動端子Ｐmを端子Ｐaあるいは端子Ｐbに切り換えて、ＲＡＭ５１２aあるいはＲＡＭ５１２bから読み出された信号をモニタ画像信号ＤＶrとして出力する。例えば、ＲＡＭ５１２aとＲＡＭ５１２bに対して、交互に１フレーム分の画像信号ＤＶbを記憶したときには、ＲＡＭ５１２aとＲＡＭ５１２bから記憶したフレーム順に信号を読み出すとともに、信号セレクタ５１３の可動端子Ｐmを１フレーム単位で切り換えてモニタ画像信号ＤＶrを出力する。

また、ＲＡＭ５１２aとＲＡＭ５１２bとして、信号の書き込みと読み出しを同時に行うことできないＲＡＭを用いる場合、ビット幅を拡張して２画素分単位で信号の書き込みや読み出しを行う。この場合、１画素分の期間で２画素分の信号の書き込みを行い、次の１画素分の期間で２画素分の信号の読み出しを行うことができる。すなわち、画像信号の記憶と読み出しを１画素分の遅延を持って行うことが可能となり、画像信号ＤＶbからモニタフレームレートであるモニタ画像信号ＤＶrを生成できる。

図７は、フレームレート変換部の他の構成として、２画素分単位で信号の記憶や読み出しを行う場合を示している。補正処理部３４から供給された画像信号ＤＶbは、フレームレート変換部５１aのレジスタ５１４と信号セレクタ５１５の可動端子Ｐmに供給される。

レジスタ５１４は、１画素分の画像信号ＤＶbを順次蓄積し、この蓄積した画像信号ＤＶbを次の画素タイミングで画像信号ＤＶpとして信号セレクタ５１５の可動端子Ｐmに供給する。

信号セレクタ５１５の端子ＰaはＲＡＭ５１６aと接続されている。また、端子ＰbはＲＡＭ５１６bと接続されている。ＲＡＭ５１６a，５１６bは、画像信号ＤＶbと画像信号ＤＶpを１つの信号として記録できる入力バンド幅（ビット幅）を有するものである。例えば、画像信号ＤＶbが８ビットの信号であるときには１６ビットの入力バンド幅を有するものとする。

信号セレクタ５１５は、制御部６１からの制御信号ＣＴhに基づき可動端子Ｐmを端子Ｐaあるいは端子Ｐbに切り換えて、可動端子Ｐmに供給された１画素分の画像信号ＤＶbと画像信号ＤＶpを１つの信号ＤＷaとしてＲＡＭ５１６aあるいはＲＡＭ５１６bに供給する。

ＲＡＭ５１６aあるいはＲＡＭ５１６bは、制御部６１から供給された書込制御信号ＷＴcに基づき、２画素分単位の信号ＤＷaを記憶する。また、２画素分単位で記憶された信号ＤＷaを、制御部６１から供給された読出制御信号ＲＴcに基づきモニタフレームレートに応じた速度で読み出し、信号セレクタ５１７の端子Ｐaあるいは端子Ｐbに供給する。なお、信号の読み出しは、記憶順序と等しい順序で行う。

ＲＡＭ５１６a，５１６bの記憶容量は、２画素分毎に記憶した信号を２画素分毎に読み出して所望の出力フレームレートの信号を生成する際、読み出しが行われていない信号の記憶位置に新たな信号が書き込まれることが無いように設定する。例えば、画像信号ＤＶbのフレームレートが後述するようにモニタ画像信号ＤＶrのフレームレートであるモニタフレームレートの１〜２倍の範囲内で可変される場合、少なくとも２フレーム分の画像信号ＤＶbを記憶できるように記憶容量を設定する。ここで、例えば１フレーム毎に可動端子Ｐmを切り換えてＲＡＭ５１６aとＲＡＭ５１６bに交互に１フレーム分の信号ＤＷaを記憶させる。あるいは、１回の信号書き込み毎に可動端子Ｐmを切り換えることでＲＡＭ５１６aとＲＡＭ５１６bの前半部分に１フレーム分の信号ＤＷaを記憶させ、ＲＡＭ５１６aとＲＡＭ５１６bの後半部分に他の１フレーム分の信号ＤＷaを記憶させる。このように設定すると、信号の記憶と読み出しをほぼ同時に行うことが可能となるとともに、画像信号ＤＶbのフレームレートが可変されても、読み出しが行われていない信号の記憶位置に新たな信号が書き込まれることが無く、モニタフレームレートの信号を正しく生成することができる。

信号セレクタ５１７の可動端子Ｐmは、レジスタ５１８と信号再構成回路５１９に接続されている。信号セレクタ５１７は、制御部６１からの制御信号ＣＴjに基づき可動端子Ｐmを端子Ｐaあるいは端子Ｐbに切り換えて、ＲＡＭ５１６aあるいはＲＡＭ５１６bから読み出した信号を信号ＤＷbとして可動端子Pmから出力する。この信号ＤＷbは信号ＤＷaと等しいものであり、フレームレートがモニタフレームレートの信号である。ここで、信号ＤＷbから画像信号ＤＶbに対応する部分をレジスタ５１８に供給し、画像信号ＤＶpに対応する部分を信号再構成回路５１９に供給する。

信号再構成回路５１９は、上述の信号ＤＷaにおいて、画素順序が画像信号ＤＶpの画素の次に画像信号ＤＶbの画素とされていることから、画像信号ＤＶpに対応する部分の信号を１画素の画像信号として出力して、次にレジスタ５１８に保持されている画像信号ＤＶbに対応する部分の信号を次の１画素の画像信号として交互に出力する。この信号再構成回路５１９から出力される画像信号は、モニタ画像信号ＤＶrとしてモニタ信号処理部５２に供給される。

出力信号処理部４２は、フレーム加算部４１から出力された本線画像信号ＤＶjに対して例えばγ補正（Gamma Correction）や輪郭補償処理およびニー補正
（Knee Correction）等のプロセス処理を行う。また、モニタ信号処理部５２は、フレームレート変換部５１から出力されたモニタ画像信号ＤＶrに対してプロセス処理を行う。ここで、モニタ信号処理部５２で行うプロセス処理は、撮像画像の確認を行うために接続された画像表示装置に応じた処理である。例えば、撮像画像の確認のために陰極線管や液晶表示素子を用いて画像表示を行う場合、陰極線管や液晶表示素子のγ特性や階調表示特性等に応じたプロセス処理を行う。このように、出力信号処理部４２とモニタ信号処理部５２を設けることで、本線画像信号ＤＶjとモニタ画像信号ＤＶrに対するプロセス処理を別個に行うことができる。

また、プロセス処理を行う出力信号処理部４２は、フレーム加算部４１の後段に設けられているので、プロセス処理を正しく行うことができる。例えば、画像信号ＤＶbを４フレーム分加算する場合でのニー補正について説明する。なお、画素位置ＯＤの信号レベルは、フレーム１で「１００」、フレーム２で「９０」、フレーム３で「４０」、フレーム４で「３０」とする。ここで、ニー補正処理の一例として、信号レベルが「５０」以上であるとき、この「５０」を超える部分の信号レベルを半分とするものとする。

ニー補正をフレーム加算前に行う場合、フレーム１の信号レベルはニー補正によって「（１００−５０）／２＋５０＝７５」となる。またフレーム２の信号レベルはニー補正によって「（９０−５０）／２＋５０＝７０」となる。このため、４フレーム分の加算値は「７５＋７０＋４０＋３０＝２１５」となる。ニー補正をフレーム加算後に行う場合、信号レベルの加算値は「１００＋９０＋４０＋３０＝２６０」となる。また、４フレーム分の信号を加算していることから、ニー補正は信号レベルが「５０×４」を超える部分について信号レベルを半分とする。このため、４フレーム分の加算値は「（２６０−２００）／２＋２００＝２３０」となる。

このように、フレーム加算前にニー補正を行うと、ニー補正によって信号レベルが圧縮された部分と圧縮されていない部分が同等に扱われて加算されてしまうため、正しくニー補正を行うことができない。しかし、出力信号処理部４２をフレーム加算部４１の後段に設けることで、撮像画像に応じた正しいニー補正を出力信号処理部４２で行える。

γ補正の場合も同様に、フレーム加算前にγ補正を行うと、各フレームで違った割合で信号レベルの補正が行われるので、違った割合で信号レベルの調整が行われた部分が同列に扱われて加算されてしまうことから、ニー補正の場合と同様に正しくγ補正を行うことができない。このため、出力信号処理部４２をフレーム加算部４１の後段に設けることで、出力信号処理部４２で行われるγ補正は、撮像画像に応じた正しいγ補正となる。

また、輪郭補償処理においても、フレーム加算前に輪郭補償処理を行うと、十分な輪郭補償を行うことができない場合が生じてしまう。図８Ａ〜図８Ｇは、フレーム加算前とフレーム加算後の輪郭補償処理を説明するための図である。

ここで、図８Ａに示すフレームＦ1と図８Ｂに示すフレームＦ2の信号を加算する場合について説明する。フレーム加算前に輪郭補償処理を行うと、図８Ａに示す画素ＯＧに対して両側の画素の信号も用いて補償信号ＤL1が生成されて、図８Ｃに示すように画素ＯＧの信号に加算される。このとき、信号レベルがダイナミックレンジＬＤを超えたときに、特に何もしないとクリップされたものと同じになってしまう。また、図８Ｂに示す画素ＯＧに対して両側の画素の信号も用いて補償信号ＤL2が生成されて、図８Ｄに示すように画素ＯＧの信号に加算される。このため、輪郭補償処理を行ってからフレーム加算を行うと、画素ＯＧの信号レベルは図８Ｅとなる。

一方、フレーム加算後に輪郭補償処理を行う場合、フレーム加算して得られた信号は図８Ｆに示すものとなる。このフレーム加算した信号の画素ＯＧに対して輪郭補償処理を行うと、両側の画素の加算信号も用いて補償信号ＤL3が生成されて、図８Ｇに示すように画素ＯＧの信号に加算される。ここで、２フレームの信号を加算したことからダイナミックレンジは「２ＬＤ」となり、画素ＯＧの信号はクリップされることがなく、図８Ｅの場合に比べて信号レベルが大きくなる。このため、輪郭補償処理もフレーム加算後に行うことで、正しく輪郭補償処理を行うことができる。

このように、出力信号処理部４２は、フレーム加算後の信号である本線画像信号ＤＶjを用いてプロセス処理を行い、得られた本線画像出力信号ＤＶkを信号出力部４３に供給する。また、モニタ信号処理部５２は、上述のように撮像画像の確認を行うために用いる画像表示装置に応じたプロセス処理をフレームレート変換後の信号であるモニタ画像信号ＤＶrに対して行い、得られたモニタ画像出力信号ＤＶsを信号出力部５３に供給する。

信号出力部４３は、本線画像出力信号ＤＶkをこの撮像装置に接続される記録機器等に応じた信号に変換して本線画出力端子４５から本線信号ＣＭoutとして出力する。例えば、コンポーネント信号に対応した機器やコンポジット信号に対応した機器が接続される場合には、本線画像出力信号ＤＶkをそれぞれの機器に応じた信号に変換して本線信号ＣＭoutとして出力する。またＳＭＰＴＥ２５９ＭやＳＭＰＴＥ２９２Ｍとして規格化されているシリアルディジタルインタフェース等を介して画像信号を伝送する場合には、インタフェース規格に応じた伝送信号を本線画像出力信号ＤＶkに基づいて生成して本線信号ＣＭoutとして出力する。なお、図示せずも、本線画出力端子４５を出力信号処理部４２と接続して、本線画像出力信号ＤＶkを本線信号ＣＭoutとして出力するものとしても良い。さらに、出力信号処理部４２が設けられていないときには、本線画出力端子４５をフレーム加算部４１と接続して、本線画像信号ＤＶjを本線信号ＣＭoutとして出力するものとしても良い。

信号出力部５３は、供給されたモニタ画像出力信号ＤＶsを、撮像画像の確認用の画像表示装置に応じた信号に変換してモニタ画出力端子５５からモニタ信号ＭＴoutとして出力する。例えば画像表示装置がアナログ信号を用いるものであるときには、モニタ画像出力信号ＤＶsをアナログ信号に変換してモニタ信号ＭＴoutとして出力する。なお、図示せずも、モニタ画出力端子５５をモニタ信号処理部５２と接続して、モニタ画像出力信号ＤＶsをモニタ信号ＭＴoutとして出力するものとしても良い。さらに、モニタ信号処理部５２が設けられていないときには、モニタ画出力端子５５をフレームレート変換部５１と接続して、モニタ画像信号ＤＶrをモニタ信号ＭＴoutとして出力するものとしても良い。

制御部６１には、操作部６２が接続されている。この操作部６２をビデオカメラのユーザが操作すると、ユーザの操作に応じた操作信号ＲＳが操作部６２から制御部６１に供給される。制御部６１は、この操作信号ＲＳに基づいて制御信号等を生成して各部の動作を制御することにより、撮像装置をユーザの操作に応じて動作させる。また、出力フレームレート設定状態を決定するフレームレート設定信号ＲＳＦが制御部６１に供給されたとき、例えば操作部６２で撮像速度の切り換えを行い、操作信号ＲＳとしてフレームレート設定信号ＲＳＦが制御部６１に供給されたとき、あるいはリモートコントロール装置や外部の機器からフレームレート設定信号ＲＳＦが制御部６１に供給されたとき、制御部６１は、制御信号ＣＴa〜ＣＴjや書込制御信号ＷＴa〜ＷＴcおよび読出制御信号ＲＴa〜ＲＴcの生成を行いフレーム加算部４１やフレームレート変換部５１あるいはフレームレート変換部５１aに供給することにより、切り換えられた撮像速度に応じて画像信号の生成を行わせる。さらに、制御部６１は、撮像部２１でのフレームレートを設定する制御信号ＴＣをフレームレート設定信号ＲＳＦに基づいて生成して駆動部７１に供給する。駆動部７１は、制御信号ＴＣに基づき駆動制御信号ＲＣを生成して撮像部２１に供給する。このため、切り換えられた撮像速度に応じた撮像フレームレートの画像信号Ｓpaが撮像部２１から出力される。なお、制御部６１はアイリス１２の制御等も行う。

次に、撮像装置の動作について説明する。撮像装置は、撮像部２１で生成される画像信号Ｓpaの撮像フレームレートの可変制御、および／またはフレーム加算部４１での加算フレーム数の切換制御を行うことで、所望の出力フレームレートの本線画像信号ＤＶjを生成する。

ここで、所望の出力フレームレートＦＲcの本線画像信号ＤＶjを生成する際、出力フレームレートＦＲcが低いものとされても、撮像部２１で生成する画像信号Ｓpaのフレームレートである撮像フレームレートＦＲpが所定範囲となるように、フレーム加算部４１での加算フレーム数ＦＡを切り換える。また、加算フレーム数ＦＡは、例えば加算フレーム数ＦＡを切り換えたときに撮像フレームレートＦＲpが所定範囲内であって高いフレームレートとなるように設定する。

図９は、出力フレームレートＦＲcに応じた加算フレーム数ＦＡと撮像フレームレートＦＲpの設定動作を示すフローチャートである。ステップＳＴ１では、加算フレーム数の切換点および加算フレーム数を設定する。この設定は、撮像フレームレートＦＲpを正の整数で除算して、除算結果が整数値（但し１を除く）となるときの整数値を切換点とする。このときの除算結果を加算フレーム数ＦＡとする。例えば、撮像フレームレートＦＲpの最大値が「６０Ｐ（数字は１秒当たりのフレーム数、Ｐはプログレッシブ方式の信号であることを示すものであり、他の場合も同様である）」であるとき、設定された加算フレーム数の切換点および加算フレーム数は（３０Ｐ，２フレーム）、（２０Ｐ，３フレーム）、（１５Ｐ，４フレーム）、（１２Ｐ，５フレーム）・・・（２Ｐ，３０フレーム）、（１Ｐ，６０フレーム）となる。

ステップＳＴ２では、ステップＳＴ１で設定された加算フレーム数の切換点と加算フレーム数に基づいて、出力フレームレートＦＲcと加算フレーム数の関係を示す加算切換情報を生成する。ここで、撮像フレームレートＦＲpの最大値が６０Ｐとされて上述のように加算フレーム数の切換点および加算フレーム数が設定された場合、図１０に示すように加算切換情報が生成される。すなわち、出力フレームレートＦＲcが「６０Ｐ≧ＦＲc＞３０Ｐ」のときは、加算フレーム数ＦＡを「１」とする。出力フレームレートＦＲcが「３０Ｐ≧ＦＲc＞２０Ｐ」のときは、加算フレーム数ＦＡを「２」とする。出力フレームレートＦＲcが「２０Ｐ≧ＦＲc＞１５Ｐ」のときは、加算フレーム数ＦＡを「３」とする。以下同様にして、出力フレームレートＦＲcが「２Ｐ≧ＦＲc＞１Ｐ」のときは、加算フレーム数ＦＡを「３０」とし、出力フレームレートＦＲcが「ＦＲc＝１Ｐ」のときには加算フレーム数ＦＡを「６０」とする。

ステップＳＴ３では、ユーザによって設定された出力フレームレートＦＲcに対応する加算フレーム数を加算切換情報に基づいて決定する。例えば設定された出力フレームレートＦＲcが「４５Ｐ」であるとき、加算フレーム数ＦＡは「１」となる。また、出力フレームレートＦＲcが「１４Ｐ」であるとき、加算フレーム数ＦＡは「４」となる。

ステップＳＴ４では、撮像フレームレートの決定を行う。この撮像フレームレートＦＲpは、ステップＳＴ３で決定された加算フレーム数ＦＡと設定された出力フレームレートＦＲcを乗算して、乗算結果を撮像フレームレートＦＲpとする。例えば出力フレームレートＦＲcが「４５Ｐ」であるとき、加算フレーム数ＦＡは「１」であることから撮像フレームレートＦＲpは「４５Ｐ」となる。また、出力フレームレートＦＲcが「１４Ｐ」であるとき、加算フレーム数ＦＡは「４」であることから撮像フレームレートＦＲpは「５６Ｐ」となる。また、出力フレームレートＦＲcを可変したとき、撮像フレームレートＦＲpの可変範囲は最高値側となる。例えば、出力フレームレートＦＲcを「２０Ｐ≧ＦＲc＞１５Ｐ」の範囲で可変したとき、撮像フレームレートＦＲpの可変範囲は最高値側である「６０Ｐ≧ＦＲp＞４５Ｐ」の範囲で可変されることとなる。なお、図１０では、出力フレームレートＦＲcの範囲に対する撮像フレームレートＦＲpの範囲を加算切換情報とともに示している。

このように、出力フレームレートＦＲcが「６０Ｐ〜１Ｐ」の範囲内で可変されても、加算フレーム数が切り換えられて、撮像フレームレートＦＲpを「６０Ｐ〜３０Ｐ」の範囲に抑えることができる。また、各加算フレーム数に対する撮像フレームレートＦＲpの可変範囲は、撮像フレームレートＦＲpの最大値側に設定されることとなるので、より高速に撮像された画像信号Ｓpaに基づいて所望の出力フレームレートの本線画像信号ＤＶjを得ることができる。

制御部６１では、上述の図９の処理を行い、操作部６２からのフレームレート設定信号ＲＳＦによって設定された出力フレームレートＦＲcに対する撮像フレームレートＦＲpと加算フレーム数ＦＡを決定する。

ここで、フレームレート設定信号ＲＳＦに基づき、本線画像信号ＤＶjの出力フレームレートＦＲcを「６０Ｐ≧ＦＲc＞３０Ｐ」の範囲内に設定して、この本線画像信号ＤＶjに基づいて生成した本線信号ＣＭoutを撮像装置から出力させる場合、制御部６１はフレーム加算部４１を制御して加算フレーム数ＦＡを「１」に設定する。また、駆動部７１の動作を制御して、撮像部２１から出力される画像信号Ｓpaの撮像フレームレートＦＲpを出力フレームレートのＦＡ倍とする駆動制御信号ＲＣを駆動部７１から撮像部２１に供給させる。

また、フレームレート設定信号ＲＳＦに基づき、出力フレームレートＦＲcを「３０Ｐ≧ＦＲc＞２０Ｐ」の範囲内に設定する場合、制御部６１は、フレーム加算部４１を制御して加算フレーム数ＦＡを「２」に設定する。また制御部６１は、駆動部７１の動作を制御して、撮像部２１から出力される画像信号Ｓpaの撮像フレームレートＦＲpを出力フレームレートＦＲcのＦＡ倍（２倍）とする駆動制御信号ＲＣを駆動部７１から撮像部２１に供給させる。このとき、撮像フレームレートの画像信号が２フレーム加算されて本線画像信号ＤＶjが生成されるので、本線画像信号ＤＶjは所望の出力フレームレートとなる。また、撮像フレームレートＦＲpは、「６０Ｐ≧ＦＲp＞４０Ｐ」となることから、撮像フレームレートを「６０Ｐ≧ＦＲp＞３０Ｐ」の範囲内に納めることができる。

同様に、出力フレームレートＦＲcを「１５Ｐ≧ＦＲc＞１２Ｐ」の範囲内に設定する場合、制御部６１は、フレーム加算部４１を制御して加算フレーム数ＦＡを「４」に設定する。また制御部６１は、駆動部７１の動作を制御して、撮像部２１から出力される画像信号Ｓpaの撮像フレームレートＦＲpを出力フレームレートＦＲcのＦＡ倍（４倍）とする駆動制御信号ＲＣを駆動部７１から撮像部２１に供給させる。このとき、撮像フレームレートの画像信号が４フレーム加算されて本線画像信号ＤＶjが生成されるので、本線画像信号ＤＶjは所望の出力フレームレートとなる。この場合、撮像フレームレートＦＲpは、「６０Ｐ≧ＦＲp＞４０Ｐ」となることから、撮像フレームレートを「６０Ｐ≧ＦＲp＞３０Ｐ」の範囲内に納めることができる。

以下同様にして、撮像部２１で生成する画像信号Ｓpaの撮像フレームレートＦＲpとフレーム加算部４１での加算フレーム数ＦＡを可変することで、所望の出力フレームレートＦＲcの本線画像信号ＤＶjを得ることができる。なお、図１０に示すテーブルを予め保持しておけば、出力フレームレートＦＲcを切り換える毎に図９に示すフローチャートの処理を行う必要がないことは、言うまでもない。

次に、撮像部２１で生成する画像信号Ｓpaの撮像フレームレートＦＲpの可変動作について説明する。図１１は、撮像部２１で用いられている撮像素子の例として、ＦＩＴ（Frame Interline Transfer）形ＣＣＤの構造を示している。ＣＣＤ２１０の撮像領域２１１aは、マトリクス状に配設された光電変換素子２１２と、センサゲート２１３を介して各光電変換素子２１２から供給された撮像電荷を蓄積領域２１１bに転送するための垂直転送レジスタ２１４を有している。垂直転送レジスタ２１４は、１ラインの画素数に対応する数だけ設けられている。各垂直転送レジスタ２１４の転送段数は、走査ライン数に対応するものとされている。

ＣＣＤ２１０の蓄積領域２１１bは、例えば１フレーム分の画素の撮像電荷を蓄積するもので、撮像領域２１１aの垂直転送レジスタ２１４と同様な構成の垂直転送レジスタ２１５により構成する。

また、撮像部２１は、水平転送レジスタ２１６と水平転送レジスタ２１６の出力端側に接続された信号出力回路２１７を有している。水平転送レジスタ２１６の転送段数は、１ラインの画素数に対応するものとされている。また、信号出力回路２１７は、水平転送レジスタ２１６から供給された撮像電荷を電圧信号に変換して出力する。

このように構成された撮像部２１には、駆動部７１から各センサゲート２１３を開成するセンサゲートパルスや垂直転送レジスタ２１４を駆動する垂直転送クロックパルス、蓄積領域２１１bの垂直転送レジスタ２１５を駆動する垂直転送クロックパルス、水平転送レジスタ２１６を駆動する水平転送クロックパルスなどの各種タイミング信号が駆動制御信号ＲＣとして供給されて、撮像部２１の動作が制御される。

撮像領域２１１aの光電変換素子２１２で生成された撮像電荷は、垂直帰線期間中にセンサゲート２１３を介して各垂直転送レジスタ２１４に読み出され、この読み出された撮像電荷は、蓄積領域２１１bの垂直転送レジスタ２１５に高速転送されて蓄積される。その後、蓄積領域２１１bに蓄積されている撮像電荷は、水平帰線期間中に１ライン分だけ水平転送レジスタ２１６に読み出されると共に、この水平転送レジスタ２１６に読み出された撮像電荷は、信号出力回路２１７に順次転送される。信号出力回路２１７は、供給された撮像電荷を電圧信号に変換して出力する。このため、信号出力回路２１７から１ライン分の画像信号を得ることができる。次の水平走査期間でも同様な処理が行われて、信号出力回路２１７から次の１ライン分の画像信号を得ることができる。以下同様にして、１フレーム分の画像信号を得ることができる。

その後、垂直帰線期間中に垂直転送レジスタ２１４の信号の掃き出しを行ってスメア低減を図ったのち、光電変換素子２１２で生成されている撮像電荷を、センサゲート２１３を介して各垂直転送レジスタ２１４に読み出し、上述の処理を行う。

また、撮像部２１で用いられている撮像素子はＦＩＴ（Frame Interline Transfer）形ＣＣＤに限られるものではなく、図１２に示すＩＴ（Frame Interline Transfer）形ＣＣＤ等を用いることもできる。このＩＴ形ＣＣＤ２１０bは、ＦＩＴ形ＣＣＤのような蓄積領域２１１bを有していないものであり、撮像領域２１１aの光電変換素子２１２で生成された撮像電荷は、垂直帰線期間中にセンサゲート２１３を介してバッファ機能を担う垂直転送レジスタ２１４bに読み出される。この垂直転送レジスタ２１４bに読み出された撮像電荷は、順次水平帰線期間中に１ライン分だけ水平転送レジスタ２１６に読み出される。さらに、この水平転送レジスタ２１６に読み出された撮像電荷をＦＩＴ形ＣＣＤと同様に処理することで、信号出力回路２１７から１フレーム分の信号を得ることができ、上述の処理を毎フレーム行うことで画像信号Ｓpaを生成できる。

ここで、画像信号Ｓpaの撮像フレームレートＦＲpを可変する場合、駆動部７１から撮像部２１に供給する駆動制御信号ＲＣによって、ＣＣＤ２１０，２１０bでの電荷蓄積期間や撮像電荷の読み出しタイミング等を制御することでフレームレートが可変された画像信号Ｓpaを得ることができる。さらに、ＣＤＲ方式を用いて撮像フレームレートＦＲpの可変処理を行うものとすれば、撮像フレームレートＦＲpを可変しても有効画面期間の画像サイズが変化しない画像信号Ｓpaを生成できる。また、ＣＤＲ方式を用いることで、撮像フレームレートＦＲpを用いる各部の動作周波数を撮像フレームレートＦＲpに応じて可変する必要がなく、構成が簡単となる。

このＣＤＲ方式では、図１３Ａに示すように帰線期間と有効画面期間が設定された画像信号に対して、図１３Ｂに示すように水平帰線期間の長さを調整したり、図１３Ｃに示すように垂直帰線期間の長さを調整することで、有効画面期間の画像サイズを変化させることなく撮像フレームレートＦＲpを可変した画像信号を生成できる。

図１４Ａ〜図１４Ｈ、図１４Ｊ〜図１４Ｎは水平帰線期間の長さを調整する場合の動作、図１５Ａ〜図１５Ｇは垂直帰線期間の長さを調整する場合の動作を説明するための図である。図１４Ａは、露光開始タイミングＴＭs、図１４Ｂは露光終了タイミングＴＭeを示している。露光開始タイミングＴＭsの間隔と露光終了タイミングＴＭeの間隔は、撮像フレームレートＦＲpのフレーム周期と等しいものであり、露光終了タイミングから次の露光開始タイミングまでの期間は、図１４Ｃに示すように垂直帰線期間Ｖ.ＢＬＫに対応するものである。また、露光開始タイミングから次の露光終了タイミングまでの期間は露光期間である。

露光期間中に光電変換素子２１２で生成された撮像電荷は、図１４Ｄに示すように、次の垂直帰線期間Ｖ.ＢＬＫで図１１に示す垂直転送レジスタ２１５あるいは図１２に示す垂直転送レジスタ２１４bに読み出される。

垂直転送レジスタ２１５あるいは垂直転送レジスタ２１４bに読み出された電荷は、図１４Ｇに示す水平読出開始信号ＴＭhの各読出開始パルスを基準として、１ライン分毎に水平転送レジスタ２１６に読み出されたのち、サンプリング周波数で順次信号出力回路２１７に供給されて、図１４Ｅに示すように画像信号Ｓpaにおける有効画面期間の１ライン分の信号が生成される。なお、図１４Ｆは垂直同期信号ＶＤを示している。

図１４Ｈ、図１４Ｊ及び図１４Ｋは、フレーム期間の一部を拡大して示したものであり、図１４Ｈは水平同期信号ＨＤ、図１４Ｊは上述したように有効画面期間の１ライン分の信号の生成の基準である水平読出開始信号ＴＭhを示している。ここで、水平同期信号ＨＤの同期パルスから水平読出開始信号ＴＭhの読出開始パルスまでの期間は、図１４Ｋに示す画像信号Ｓpaにおける水平帰線期間Ｈ.ＢＬＫに対応するものであり、水平読出開始信号ＴＭhの読出開始パルスから次の水平同期信号ＨＤの同期パルスまでの期間が有効画面期間となる。

図１４Ｌ〜図１４Ｎは、撮像フレームレートＦＲpが高いときを示しており、図１４Ｎは水平同期信号ＨＤ、図１４Ｍは水平読出開始信号ＴＭhをそれぞれ示している。この場合、水平同期信号ＨＤの同期パルスから水平読出開始信号ＴＭhの読出開始パルスまでの期間である水平帰線期間Ｈ.ＢＬＫを、図１４Ｋに比べて図１４Ｌに示すように短いものに変更すると、水平同期信号ＨＤの間隔が短くなり撮像フレームレートＦＲpが高くなる。また、水平読出開始信号ＴＭhの読出開始パルスから次の水平同期信号ＨＤの同期パルスまでの期間を一定とする。すなわちサンプリング周波数と有効画面期間の画素数を一定としておくことで、撮像フレームレートＦＲpによらず有効画面期間が一定とされた図１４Ｋや図１４Ｌに示すＣＤＲ方式の画像信号Ｓpaを生成できる。なお、図１４Ａ〜図１４Ｈ、図１４Ｊ及び図１４Ｋでは、有効画面期間が１９２０サンプル×１０８０ラインで「４８Ｐ」のときのライン数およびサンプル数、図１４Ｌ〜図１４Ｎは、有効画面期間が１９２０サンプル×１０８０ラインで「６０Ｐ」のときのライン数およびサンプル数を示している。

次に垂直帰線期間の長さを調整する場合の動作を図１５Ａ〜図１５Ｇを用いて説明する。なお図１５Ａ〜図１５Ｄは図１４Ａ〜図１４Ｄと対応するものである。

垂直転送レジスタ２１４bあるいは垂直転送レジスタ２１５に読み出された電荷は、図１５Ｇに示す水平読出開始信号ＴＭhの読出開始パルスを基準として、１ライン分毎に水平転送レジスタ２１６に読み出されて、この読み出された撮像電荷が信号出力回路２１７に順次供給されて、図１５Ｅに示すように画像信号Ｓpaが生成される。ここで、図１５Ｆに示す垂直同期信号ＶＤの同期パルスから図１５Ｇに示す各フレームの最初の水平読出開始信号ＴＭhの読出開始パルスまでの期間である垂直帰線期間Ｖ.ＢＬＫを調整する。また、最初の水平読出開始信号ＴＭhの読出開始パルスから垂直同期信号ＶＤの同期パルスまでの期間を等しくすることで、撮像フレームレートＦＲpによらず有効画面期間が一定とされた図１５Ｅに示すＣＤＲ方式の画像信号Ｓpaを生成できる。

このように、サンプリング周波数と有効画面期間の画素数を一定として、撮像フレームレートＦＲpに応じて水平帰線期間や垂直帰線期間を可変することで、撮像フレームレートＦＲpを可変しても有効画面期間が一定とされて画像サイズが変化しない画像信号Ｓpaを生成できる。なお、撮像フレームレートＦＲpに応じて例えば垂直帰線期間を長くすると、次のフレーム画像が表示されるまでの時間が長くなってちらつき（フリッカー）が目立つおそれがある。このため、撮像フレームレートＦＲpに応じて水平帰線期間を調整することが好ましい。

また、ＣＣＤ２１０，２１０bでの電荷蓄積期間や撮像電荷の読み出しタイミング等を制御することで撮像フレームレートＦＲpが可変された画像信号Ｓpaを得るだけでなく、電子シャッター動作を行うこともできる。この場合、制御部６１は、駆動部７１の動作を制御して、駆動部７１から撮像部２１に供給する駆動制御信号ＲＣのタイミングを調整することにより、撮像部２１で電子シャッター動作を行わせる。例えばシャッター開期間（露光期間）に光電変換素子２１２で生成された撮像電荷を垂直転送レジスタ２１４に読み出し、他の期間中に光電変換素子２１２で生成された撮像電荷は廃棄する。このシャッター開期間に生成された撮像電荷に基づいて画像信号Ｓpaを生成することで、電子シャッター動作が可能となる。また、光電変換素子２１２で生成された撮像電荷の読み出しをシャッター開期間の開始および終了時に対応させて行うものとし、シャッター開期間の開始時のタイミングで読み出された撮像電荷を無効とし、シャッター開期間の終了時のタイミングで読み出された撮像電荷に基づいて画像信号Ｓpaを生成することでも電子シャッター動作が可能となる。なお、シャッター動作は電子シャッターを用いる場合に限られるものではなく、メカニカルシャッターを用いるものとしたり、液晶等を利用したいわゆる光学的シャッター等を用いることもできる。

次に、フレーム加算部４１で行うフレーム加算動作について説明する。図１６は、フレーム加算動作を示すフローチャートである。

ステップＳＴ１１では、初期設定を行う。この初期設定では、ＲＡＭ４１４-1〜４１４-3の何れかを、画像信号ＤＶcの書き込み用である書き込みＲＡＭに指定する。この書き込みＲＡＭの指定は、制御信号ＣＴbによって信号セレクタ４１３の可動端子Ｐmを切り換えることで行うことができる。また、加算フレーム数ＦＡ分のフレーム加算処理が完了しているか否かを示す外部読み出し可能フラグを設けて、この外部読み出し可能フラグの状態をフレーム加算処理が完了していないことを示すオフ状態とする。

ステップＳＴ１２では、書き込みＲＡＭに書込制御信号ＷＴaを供給して、書き込みＲＡＭに対しての画像信号ＤＶcの書き込みを開始する。

ステップＳＴ１３では、読み出し対応処理を行う。この読み出し対応処理は、出力フレームレートＦＲcで画像信号を出力させるための処理であり、フレーム加算が完了しているときには、フレーム加算によって得られた信号に基づき出力フレームレートＦＲcの画像信号を生成して出力させる。また、フレーム加算が完了していないときにはブランクフレームとするものである。

図１７は、読み出し対応処理を示すフローチャートである。ステップＳＴ３１では、出力フレームレートＦＲcである外部読み出し用の垂直同期信号ＶＤcにおける同期パルスが検出されたか否かを判別する。ここで、垂直同期信号ＶＤcの同期パルスが検出されたときにはステップＳＴ３２に進み、検出されていないときにはステップＳＴ３５に進む。

ステップＳＴ３２では、外部読み出し可能フラグがオン状態に設定されているか否かを判別する。ここで、外部読み出し可能フラグがオン状態に設定されていないときには、加算フレーム数ＦＡ分の加算が完了した信号がないことからステップＳＴ３３でブランクフレーム信号を出力してステップＳＴ３５に進む。また、外部読み出し可能フラグがオン状態に設定されているときにはステップＳＴ３４に進み、加算フレーム数ＦＡ分の加算が完了した信号が書き込まれている後述する外部読み出しＲＡＭから、信号の読み出しを開始してステップＳＴ３５に進む。

ステップＳＴ３５では、外部読み出し可能フラグのオフ条件を満たすか否かを判別する。ここで、外部読み出しＲＡＭから１フレーム分の信号読み出しが完了したときにはステップＳＴ３６に進む。また、外部読み出しＲＡＭから１フレーム分の信号読み出しが完了していないときや信号読み出しが行われていないとき、あるいは外部読み出し可能フラグがオフ状態であるときには、読み出し対応処理を終了する。ステップＳＴ３６では、外部読み出し可能フラグをオフ状態とする。また、外部読み出し可能フラグをオフ状態としたときには、外部読み出しＲＡＭの指定を解除して読み出し対応処理を終了する。

ステップＳＴ１４では、書き込みＲＡＭに対して１フレーム分の信号書き込みが終了したか否かを判別する。ここで、１フレーム分の信号書き込みが完了していないときにはステップＳＴ１３に戻り、１フレーム分の信号書き込みが完了したときにはステップＳＴ１５に進む。

ステップＳＴ１５では、加算フレーム数ＦＡ分のフレーム加算が完了したか否かを判別する。ここで、加算フレーム数ＦＡ分のフレーム加算が完了していないときにはステップＳＴ１６に進み、フレーム加算が完了しているときにはステップＳＴ２０に進む。

ステップＳＴ１６では第１のＲＡＭ切換処理を行う。この第１のＲＡＭ切換処理では、書き込みＲＡＭの切り換えを行い、指定がなされていない他のＲＡＭを書き込みＲＡＭに指定する。また、切り換え前に書き込みＲＡＭとして指定されていたＲＡＭを内部読み出しＲＡＭに指定する。さらに、切り換え前の内部読み出しＲＡＭの指定は解除する。

ステップＳＴ１７では、入力された画像信号ＤＶcと内部読み出しＲＡＭに書き込まれている信号とを加算して書き込みＲＡＭに書き込む処理を開始してステップＳＴ１８に進む。ステップＳＴ１８では、上述の読み出し対応処理を行いステップＳＴ１９に進む。

ステップＳＴ１９では、書き込みＲＡＭに対して１フレーム分の信号書き込みが終了したか否かを判別する。ここで、１フレーム分の信号書き込みが完了していないときにはステップＳＴ１８に戻り、１フレーム分の信号書き込みが完了したときにはステップＳＴ１５に戻る。

ステップＳＴ１５において、加算フレーム数ＦＡ分のフレーム加算が完了したと判別されてステップＳＴ２０に進むと、ステップＳＴ２０では第２のＲＡＭ切換処理を行う。第２のＲＡＭ切換処理では、書き込みＲＡＭの切り換えを行い、指定がなされていない他のＲＡＭを書き込みＲＡＭに指定する。また、切り換え前の書き込みＲＡＭを外部読み出しＲＡＭに指定する。さらに、切り換え前の内部読み出しＲＡＭの指定は解除する。また、加算フレーム数ＦＡ分のフレーム加算が完了していることから、外部読み出し可能フラグをオン状態に設定してステップＳＴ１２に戻る。

このように、信号書き込みを行いながら書き込みＲＡＭや内部読み出しＲＡＭの切り替えを行い、加算フレーム数ＦＡ分のフレーム加算が完了したときには、書き込みＲＡＭを外部読み出しＲＡＭに指定して、外部読み出し可能フラグをオン状態に設定する。また信号の書き込み中に外部読み出し可能フラグの状態を検出して、加算フレーム数ＦＡ分のフレーム加算が完了した信号を出力フレームレートＦＲcで出力させる。

次に、フレーム加算部４１の動作を具体的に説明する。図１８Ａ〜図１８Ｇ，図１９Ａ〜図１９Ｅは、出力フレームレートＦＲcを例えば「２４Ｐ」に設定して、加算フレーム数ＦＡが「２」となる場合の動作を説明するための図である。なお、図１８Ａは画像信号ＤＶb、図１８ＢはＲＡＭ４１４-1の動作、図１８ＣはＲＡＭ４１４-2の動作、図１８ＤはＲＡＭ４１４-3の動作、図１８Ｅは外部読み出し可能フラグ、図１８Ｆ，図１８Ｇは本線画像信号ＤＶjを示している。また、図１９Ａ〜図１９Ｅは、制御信号を省略して示しており、太線がフレーム加算部の動作に関する信号の流れを示している。

出力フレームレートＦＲcを「２４Ｐ」に設定すると、撮像フレームレートＦＲpは、上述したように出力フレームレートＦＲcの２倍である「４８Ｐ」となる。

画像信号ＤＶbのフレーム「０f」が入力される図１８Ａ〜図１８Ｇの時点ｔ1に於いて、制御部６１は、図１９Ａに示すようにフレーム加算部４１の信号セレクタ４１２の可動端子Ｐmを端子Ｐa側に設定し、信号セレクタ４１３の可動端子Ｐmを端子Ｐa側に設定する。この場合、ＲＡＭ４１４-1が書き込みＲＡＭに指定されて、フレーム「０f」の画像信号は、ＲＡＭ４１４-1に供給される。また、制御部６１は、ＲＡＭ４１４-1に書込制御信号ＷＴaを供給して、フレーム「０f」の画像信号をＲＡＭ４１４-1に記憶させる。

時点ｔ2で本線画像信号ＤＶjのフレーム開始タイミングとなった場合、すなわち垂直同期信号ＶＤcの同期パルスが検出された場合、外部読み出し可能フラグがオフ状態で、２フレームの画像信号の加算が完了していないことが示されているので、制御部６１は信号セレクタ４１６の可動端子Ｐmをブランクフレーム設定回路４１７と接続されている端子Ｐa側に設定する。このとき、図１８Ｆに示すように、本線画像信号ＤＶjはブランクフレームとなる。

時点ｔ3でフレーム「０f」が終了してフレーム「１f」の画像信号が入力されるときに、制御部６１は、図１９Ｂに示すように信号セレクタ４１５の可動端子Ｐmを端子Ｐa側に設定して、ＲＡＭ４１４-1を内部読み出しＲＡＭに指定する。このＲＡＭ４１４-1に読出制御信号ＲＴaを供給して、記憶しているフレーム「０f」の画像信号を読み出す。このとき、加算器４１１には、フレーム「１f」の画像信号ＤＶbが供給され、ＲＡＭ４１４-1から読み出したフレーム「０f」の画像信号が画像信号ＤＶfとして供給される。このため、加算器４１１は、フレーム「０f」の画像信号とフレーム「１f」の画像信号を加算して加算信号ＤＶgを生成する。また、制御部６１は、信号セレクタ４１２の可動端子Ｐmを端子Ｐb側に設定する。さらに、信号セレクタ４１３の可動端子Ｐmを例えば端子Ｐb側に設定することで、ＲＡＭ４１４-1を書き込みＲＡＭに指定して、加算信号ＤＶgをＲＡＭ４１４-2に供給する。さらに、制御部６１は、ＲＡＭ４１４-2に書込制御信号ＷＴaを供給して、フレーム「０f」とフレーム「１f」の画像信号が加算された加算信号ＤＶgをＲＡＭ４１４-2に記憶させる。

時点ｔ4でフレーム「１f」が終了してフレーム「２f」の画像信号ＤＶbが入力されるとき、制御部６１は、図１９Ｃに示すように信号セレクタ４１２の可動端子Ｐmを端子Ｐa側に設定し、信号セレクタ４１３の可動端子Ｐmを例えば端子Ｐc側に設定する。このとき、ＲＡＭ４１４-3が書き込みＲＡＭに指定されたこととなり、フレーム「２f」の画像信号ＤＶbはＲＡＭ４１４-3に供給される。また、制御部６１は、ＲＡＭ４１４-3に書込制御信号ＷＴaを供給して、フレーム「２f」の画像信号をＲＡＭ４１４-3に記憶させる。また、時点ｔ4では２フレームの信号加算が終了していることから、図１８Ｅに示すように、外部読み出し可能フラグをオン状態とするとともに、加算信号が記憶されているＲＡＭ４１４-2を外部読み出しＲＡＭに指定する。

次に、外部読み出しＲＡＭが指定されたのち外部読み出し可能フラグがオン状態であるとき、本線画像信号ＤＶjのフレーム開始タイミングとなった場合、例えば時点ｔ5で本線画像信号ＤＶjのフレーム開始タイミングとなった場合、制御部６１は、信号セレクタ４１６の可動端子Ｐmを、図１９Ｄに示すように外部読み出しＲＡＭとして指定されたＲＡＭ４１４-2と接続されている端子Ｐc側に設定する。また、制御部６１は、ＲＡＭ４１４-2に読出制御信号ＲＴaを供給して、記憶されている加算信号を読み出して画像信号ＤＶhとしてレベル調整回路４１８に供給する。さらに、制御部６１は、制御信号ＣＴeをレベル調整回路４１８に供給して、画像信号ＤＶhの信号レベルを「１／加算フレーム数」倍、すなわち加算フレーム数が「２」であることから画像信号ＤＶhの信号レベルを「１／２」倍して本線画像信号ＤＶjとして出力する。

ここで、本線画像信号ＤＶjの出力フレームは、撮像装置に接続された外部機器に特別な動作の変更を強いることなく撮像速度の変更が可能なように、外部機器例えばビデオテープレコーダ等に合わせて「６０Ｐ」で固定して行うものとする。

時点ｔ6でフレーム「３f」の画像信号が入力されるとき、制御部６１は、図１９Ｅに示すように信号セレクタ４１５の可動端子Ｐmを端子Ｐc側に設定する。また、ＲＡＭ４１４-3に読出制御信号ＲＴaを供給して、記憶しているフレーム「２f」の画像信号を読み出す。このとき、加算器４１１には、フレーム「３f」の画像信号ＤＶbが供給され、ＲＡＭ４１４-3から読み出したフレーム「２f」の画像信号が画像信号ＤＶfとして供給される。このため、加算器４１１は、フレーム「２f」の画像信号とフレーム「３f」の画像信号を加算して加算信号ＤＶgを生成する。また、制御部６１は、信号セレクタ４１２の可動端子Ｐmを端子Ｐb側に設定し、信号セレクタ４１３の可動端子Ｐmを例えば端子Ｐa側に設定して、書き込みＲＡＭとして指定したＲＡＭ４１４-1に加算信号ＤＶgを供給する。さらに、制御部６１は、ＲＡＭ４１４-1に書込制御信号ＷＴaを供給して、フレーム「２f」とフレーム「３f」の画像信号が加算された加算信号ＤＶgをＲＡＭ４１４-1に記憶させ
時点ｔ7で、ＲＡＭ４１４-2から１フレーム分の信号読み出しが終了したときには、外部読み出し可能フラグをオフ状態とする。また、外部読み出しＲＡＭの指定を解除する。さらに、次の２フレームであるフレーム「２f」とフレーム「３f」の加算が完了していないことから、信号セレクタ４１６の可動端子Ｐmを端子Ｐa側に切り換えて、ブランクフレームを出力させる。

以下同様に、制御部６１は、ＲＡＭ４１４-1〜ＲＡＭ４１４-3と加算器４１１等を使用して、画像信号ＤＶbを２フレーム加算して加算信号を生成し、この加算信号を本線画像信号ＤＶjのフレーム開始タイミングで読み出し加算フレーム数に応じて加算信号の信号レベルを調整する。これにより、所望の出力フレームレートＦＲcに対応する本線画像信号ＤＶjを得ることができる。すなわち、図１８Ｆに示すように、外部機器に対応したフレームレート「６０Ｐ」であり、所望の出力フレームレート「２４Ｐ」で画像が含まれた本線画像信号ＤＶjを生成することができる。

また、撮像装置に接続された外部機器がフレームレートの可変に対応できるものであれば、所望の出力フレームレート「２４Ｐ」の本線画像信号ＤＶjを生成するものとしても良い。この場合、２フレームを加算した加算信号が得られるタイミングが、所望の出力フレームレート「２４Ｐ」となっていることから、図１８Ｇに示すように、ＲＡＭ４１４への加算信号の書き込み終了時（例えば時点ｔ4）に、書き込まれた加算信号の読み出しを行うものとすれば、所望の出力フレームレート「２４Ｐ」の本線画像信号ＤＶjを簡単に生成できる。

また、画像信号ＤＶbがＣＤＲ方式の信号とされているとき、制御部６１は例えば有効画面期間の信号をＲＡＭ４１４に記憶させる。また、本線画像信号ＤＶjを生成する際に、制御部６１は、外部読み出しＲＡＭに記憶されている信号を書き込み時と等しい周波数で読み出すと共に帰線期間を調整して所望の出力フレームレートＦＲcの本線画像信号ＤＶjを生成する。この場合、出力フレームレートが可変されても有効画面期間の画像サイズが変化しないようにすることができる。

次に、３フレームの画像信号ＤＶbを加算する場合について図２０Ａ〜図２０Ｇおよび図２１Ａ〜図２１Ｃを使用して説明する。例えば出力フレームレートを「１６Ｐ」とする場合、加算フレーム数は「３」となる。このときの撮像フレームレートは、上述したように出力フレームレートの３倍である「４８Ｐ」となる。なお、図２０Ａは画像信号ＤＶb、図２０ＢはＲＡＭ４１４-1の動作、図２０ＣはＲＡＭ４１４-2の動作、図２０ＤはＲＡＭ４１４-3の動作、図２０Ｅは外部読み出し可能フラグ、図２０Ｆ，図２０Ｇは本線画像信号ＤＶjを示している。また、図２１Ａ〜図２１Ｃは、制御信号を省略して示しており、太線がフレーム加算部の動作に関する信号の流れを示している。

画像信号ＤＶbのフレーム「０f」が開始する図２０Ａ〜図２０Ｆの時点ｔ11に於いて、制御部６１は、信号セレクタ４１２と信号セレクタ４１３およびＲＡＭ４１４-1を上述のように制御して、書き込みＲＡＭとして指定したＲＡＭ４１４-1にフレーム「０f」の画像信号ＤＶbを記憶させる。

時点ｔ12で本線画像信号ＤＶjの出力フレームのフレーム開始タイミングとなり、垂直同期信号ＶＤcの同期パルスが検出された場合、３フレームの画像信号の加算が完了していないことから、制御部６１は、信号セレクタ４１６の可動端子Ｐmをブランクフレーム設定回路４１７と接続されている端子Ｐa側に設定する。このとき、図２０Ｆに示すように、本線画像信号ＤＶjはブランクフレームとなる。

画像信号ＤＶbのフレーム「０f」が終了してフレーム「１f」が開始するタイミングである時点ｔ13に於いて、制御部６１は、ＲＡＭ４１４-1を内部読み出しＲＡＭとして指定する。また例えばＲＡＭ４１４-2を書き込みＲＡＭに指定し、内部読み出しＲＡＭであるＲＡＭ４１４-1に記憶されているフレーム「０f」の信号とフレーム「１f」の画像信号ＤＶbを加算器４１１で加算させる。さらに、この加算信号ＤＶgを書き込みＲＡＭであるＲＡＭ４１４-2に記憶させる。

画像信号ＤＶbのフレーム「１f」が終了してフレーム「２f」が開始するタイミングである時点ｔ14となると、制御部６１は、３フレームの加算信号を生成するため、書き込みＲＡＭとして指定されていたＲＡＭ４１４-2を内部読み出しＲＡＭに指定して、図２１Ａに示すように、信号セレクタ４１５の可動端子Ｐmを、内部読み出しＲＡＭと接続されている端子Ｐb側に設定する。また、内部読み出しＲＡＭであるＲＡＭ４１４-2に読出制御信号ＲＴaを供給して、ＲＡＭ４１４-2に記憶しているフレーム「０f」とフレーム「１f」との加算信号を読み出す。このとき、加算器４１１には、フレーム「２f」の画像信号ＤＶbと、ＲＡＭ４１４-2から読み出した加算信号が画像信号ＤＶfとして供給される。このため、加算器４１１は、フレーム「０f」〜フレーム「２f」の画像信号を加算した加算信号ＤＶgを生成する。また、制御部６１は、信号セレクタ４１２の可動端子Ｐmを端子Ｐb側に設定し、信号セレクタ４１３の可動端子Ｐmを端子Ｐc側に設定することで、書き込みＲＡＭに指定されたＲＡＭ４１４-3に加算信号ＤＶgを供給する。さらに、制御部６１は、ＲＡＭ４１４-3に書込制御信号ＷＴaを供給して、フレーム「０f」〜フレーム「２f」の加算信号ＤＶgをＲＡＭ４１４-3に記憶させる。

画像信号ＤＶbのフレーム「２f」が終了してフレーム「３f」が開始するタイミングである時点ｔ15となると、制御部６１は、加算フレーム数すなわち３フレームの画像信号ＤＶbを加算した加算信号の生成が完了したことから、書き込みＲＡＭであったＲＡＭ４１４-3を外部読み出しＲＡＭに指定して、外部読み出し可能フラグをオン状態とする。さらに、図２１Ｂに示すように信号セレクタ４１２の可動端子Ｐmを端子Ｐa側に設定し、信号セレクタ４１３の可動端子Ｐmを端子Ｐa側に設定して、書き込みＲＡＭとしたＲＡＭ４１４-1に、フレーム「３f」の画像信号ＤＶbを供給する。また、制御部６１は、ＲＡＭ４１４-1に書込制御信号ＷＴaを供給して、フレーム「３f」の画像信号をＲＡＭ４１４-1に記憶させる。

次に、ＲＡＭ４１４に対して加算信号の書き込みが完了して外部読み出し可能フラグがオン状態であるときに、本線画像信号ＤＶjのフレーム開始タイミングとなった場合、例えば時点ｔ16で本線画像信号ＤＶjのフレーム開始タイミングとなった場合、制御部６１は、図２１Ｃに示すように信号セレクタ４１６の可動端子Ｐmを外部読み出しＲＡＭであるＲＡＭ４１４-3と接続されている端子Ｐc側に設定する。また、制御部６１は、ＲＡＭ４１４-3に読出制御信号ＲＴaを供給して、記憶されている３フレーム分の画像信号を加算した加算信号を読み出して画像信号ＤＶhとしてレベル調整回路４１８に供給する。さらに、制御部６１は、制御信号ＣＴeをレベル調整回路４１８に供給して、画像信号ＤＶhの信号レベルを「１／３」倍して本線画像信号ＤＶjとして出力させる。

ここで、本線画像信号ＤＶjの出力フレームは、上述したように撮像装置に接続された外部機器に合わせて「６０Ｐ」で固定して行う。なお、ＲＡＭに対して加算フレーム数分の画像信号を加算した加算信号の書き込みが完了していないとき、あるいは書き込みが完了している加算信号の読み出しが完了しているとき、本線画像信号ＤＶjの出力フレームのフレーム開始タイミングとなった場合には、この出力フレームをブランクフレームとする。

時点ｔ17で、ＲＡＭ４１４-3から１フレーム分の信号読み出しが終了したときには、外部読み出し可能フラグをオフ状態とするとともに、外部読み出しＲＡＭの指定を解除する。さらに、次の３フレームであるフレーム「３f」〜「５f」の加算が完了していないことから、信号セレクタ４１６の可動端子Ｐmを端子Ｐa側に切り換えて、ブランクフレームを出力させる。

以下同様に、制御部６１は、ＲＡＭ４１４-1〜ＲＡＭ４１４-3と加算器４１１等を使用して画像信号ＤＶbを３フレーム加算して加算信号を生成し、この加算信号を本線画像信号ＤＶjのフレーム開始タイミングで読み出すことにより、所望の出力フレームレートＦＲcに対応する本線画像信号ＤＶjを得ることができる。すなわち、図２０Ｆに示すように、外部機器に対応したフレームレート「６０Ｐ」であり、所望の出力フレームレート「１６Ｐ」で画像が含まれた本線画像信号ＤＶjを生成することができる。

また、撮像装置に接続された外部機器がフレームレートの可変に対応できるものであれば、所望の出力フレームレート「１６Ｐ」の本線画像信号ＤＶjを生成するものとしても良い。この場合、３フレームの画像信号を加算した加算信号が得られるタイミングが、所望の出力フレームレート「１６Ｐ」となっていることから、図２０Ｇに示すように、ＲＡＭ４１４に対して加算フレーム数の画像信号を加算した加算信号の書き込みが終了した時に、書き込まれた加算信号の読みだしを行うものとすれば、所望の出力フレームレート「１６Ｐ」の本線画像信号ＤＶjを簡単に生成できる。

また、２フレームの画像信号を加算する場合と同様に、有効画面期間の信号を書き込みＲＡＭに記憶させると共に、外部読み出しＲＡＭに記憶されている信号を書き込み時と等しい周波数で読み出して帰線期間を調整することにより、出力フレームレートが可変されても有効画面期間の画像サイズが変化しないようにすることができる。

さらに、フレーム加算部４１は、画像信号ＤＶhの信号レベルをレベル調整回路４１８で「１／加算フレーム数」倍して本線画像信号ＤＶjを生成することから、画質の低下の少ない本線画像信号ＤＶjを生成できる。また、フレーム加算部４１は、画像信号ＤＶbの信号レベルを加算フレーム数に応じて予め調整してから、フレーム加算処理を行うものとしても良い。この場合には、加算処理やＲＡＭに記憶する信号のビット幅が小さくなることから、レベル調整回路４１８で画像信号ＤＶhの信号レベルを調整する場合に比べてフレーム加算部４１の構成を簡単とすることができる。

ところで、出力フレームレートＦＲcは、特殊な映像効果を得るために撮像中に可変される場合がある。そこで、撮像中に出力フレームレートを変更する場合の動作を次に説明する。

出力フレームレートを可変する場合、上述したように画像信号の加算処理を行う場合と加算処理を行わない場合がある。例えば図１０に示すように、出力フレームレートＦＲcを「６０Ｐ≧ＦＲc＞３０Ｐ」の範囲内とするときにはフレーム加算処理が不要であり、出力フレームレートＦＲcが「３０Ｐ」以下となるとフレーム加算処理を行う。このため、フレーム加算処理が行われているか否かによって、制御部６１は異なる処理を実施する。

図２２Ａ〜図２２Ｇは、フレーム加算処理を行わない場合、例えば出力フレームレートを６０Ｐから４８Ｐに変更する場合を示している。この場合、制御部６１は、撮像フレームレートＦＲpの切換は、画像信号ＤＶbのフレーム完了後に行う。また、ＲＡＭ４１４-1〜ＲＡＭ４１４-3を順次使用して、各ＲＡＭに１フレームの画像信号を記憶させ、この記憶された信号の読み出しが行われていない場合に本線画像信号ＤＶjのフレーム開始タイミングとなったとき、記憶されている画像信号を出力フレームレートＦＲcで読み出して出力する。

例えば図２２Ａに示す操作部６２からのフレームレート設定信号ＲＳＦによって、時点ｔ31で出力フレームレートが「４８Ｐ」から「６０Ｐ」に変更されたとき、制御部６１は、駆動部７１を介して撮像部２１を制御し、撮像フレームレートＦＲpの切換を、図２２Ｂに示す画像信号ＤＶbのフレームが完了する時点ｔ32で行う。ここで、図２２Ｃ，図２２Ｄ，図２２Ｅは、ＲＡＭ４１４-1，ＲＡＭ４１４-2，ＲＡＭ４１４-3の動作を示しており、制御部６１は、この図２２Ｂに示す画像信号ＤＶbを、図２２Ｃ，図２２Ｄ，図２２Ｅに示すように１フレーム毎に順次ＲＡＭ４１４-1〜ＲＡＭ４１４-3に記憶させる。また、例えば時点ｔ41で本線画像信号ＤＶjのフレーム開始タイミングとなった場合、ＲＡＭ４１４-1から記憶されている信号を読み出す。時点ｔ42で本線画像信号ＤＶjのフレーム開始タイミングとなった場合、ＲＡＭ４１４-2から記憶されている信号を読み出し、時点ｔ43で本線画像信号ＤＶjのフレーム開始タイミングとなった場合、ＲＡＭ４１４-3から記憶されている信号を読み出す。また、時点ｔ44で示すように、ＲＡＭ４１４-1〜ＲＡＭ４１４-3に記憶している画像信号の読み出しが既に終了している場合、このフレームをブランクフレームとする。

このように処理を行うものとすれば、撮像中に出力フレームレートＦＲcを変更しても、図２２Ｆに示すように、外部機器に対応したフレームレート「６０Ｐ」であり、変更された出力フレームレートで画像が含まれた本線画像信号ＤＶjを生成できる。また、撮像装置に接続された外部機器がフレームレートの可変に対応できるとき、上述の図１８Ｇや図２０Ｇの場合と同様に処理することで図２２Ｇに示すように、変更された出力フレームレートの本線画像信号ＤＶjを生成できる。

図２３Ａ〜図２３Ｇは、フレーム加算処理を行う場合、例えば出力フレームレートＦＲcを３１Ｐから３０Ｐ，２９Ｐ，２８Ｐに変更する場合を示している。この場合、制御部６１は、加算フレーム数の画像信号を加算した加算信号を得てから撮像フレームレートＦＲpおよび加算フレーム数ＦＡの変更を行う。

例えば図２３Ａに示す操作部６２からのフレームレート設定信号ＲＳＦによって、時点ｔ51で出力フレームレートＦＲcが「３１Ｐ」から「３０Ｐ」に変更されたとき、制御部６１は、駆動部７１を介して撮像部２１を制御することにより撮像フレームレートＦＲpの切り換えを、図２３Ｂに示すように画像信号ＤＶbのフレームが完了する時点で行う。なお、図２３Ｃ，図２３Ｄ，図２３Ｅは、ＲＡＭ４１４-1，ＲＡＭ４１４-2，ＲＡＭ４１４-3の動作を示している。

ここで、図１０に示すように、出力フレームレートＦＲcが「３１Ｐ」であるときの撮像フレームレートＦＲpは「３１Ｐ」、出力フレームレートＦＲcが「３０Ｐ」であるときの撮像フレームレートＦＲpは「６０Ｐ」である。このため、制御部６１は、時点ｔ52で撮像フレームレートＦＲpを「３１Ｐ」から「６０Ｐ」に切り換える。また、制御部６１は、撮像フレームレートＦＲpが「３１Ｐ」であるときのフレーム「１f」の画像信号ＤＶbを、例えば図２３Ｃに示すようにＲＡＭ４１４-1に記憶させる。さらに、出力フレームレートＦＲcが「３１Ｐ」から「３０Ｐ」に変更されたことにより加算フレーム数ＦＡは「１」から「２」に変更される。このため、制御部６１はフレーム加算部４１の動作を制御して、上述したように２フレームの画像信号ＤＶbを加算して加算信号を生成し、この加算信号を本線画像信号ＤＶjとして出力する処理を行う。

時点ｔ53で出力フレームレートＦＲcが「３０Ｐ」から「２９Ｐ」に変更されたとき、このときの画像信号ＤＶbのフレームは時点ｔ54で完了する。しかし、時点ｔ54では、２フレームの画像信号を加算する処理が完了していない。このため、制御部６１は、２フレームの画像信号の加算が完了する時点である次のフレームの完了時、すなわち時点ｔ55で撮像フレームレートＦＲpを「６０Ｐ」から「５８Ｐ」に切り換える。このように、フレーム加算処理が完了してから撮像フレームレートＦＲpの変更を行うため、図２３Ｆに示すように、本線画像信号ＤＶjは、操作部６２で可変された出力フレームレートに応じた正しい画像信号となる。また、図２３Ｇは、撮像装置に接続された外部機器がフレームレートの可変に対応できるとき、変更された出力フレームレートの本線画像信号ＤＶjを生成した場合を示している。

このように、加算フレーム数の画像信号の加算処理が完了したのちに撮像フレームレートを切り換えることで、所望の出力フレームレートでの画像信号を正しく出力させることができる。

また、上述の実施の形態では、画像信号ＤＶbがプログレッシブ走査方式の信号である場合を示したが、画像信号ＤＶbはインタレース走査方式の信号であっても良い。図２４Ａは、図２４Ｂに示すプログレッシブ走査方式の画像信号ＤＶbに対する垂直同期信号ＶＤbを示している。ここで、垂直同期信号ＶＤbの同期パルスを基準として図２４Ｂに示す画像信号ＤＶbと図２４Ｃに示す内部読み出しＲＡＭから読み出された信号とを加算すると、ライン位置の等しい信号を加算できる。

画像信号がインタレース走査方式の信号である場合、垂直同期信号ＶＤb-iは図２４Ｄに示すものとなり、画像信号ＤＶb-iは図２４Ｅに示すものとなる。ここで、垂直同期信号ＶＤb-iの同期パルスを基準として図２４Ｅに示す画像信号ＤＶbと図２４Ｆに示す内部読み出しＲＡＭから読み出された信号とを加算すると、ライン位置の異なる信号が加算されて垂直解像度が低下してしまう。したがって、インタレース走査方式の信号を用いる場合、図２４Ｇに示すように、垂直同期信号ＶＤb-iから括弧で示す同期パルスを無効として、垂直同期信号ＶＤb-iの同期パルスをフレーム単位で用いるものとし、このフレーム単位の同期パルスを基準として、図２４Ｈに示す画像信号ＤＶbと図２４Ｊに示す内部読み出しＲＡＭから読み出された信号とを加算する。このように加算処理を行うと、ライン位置の等しい信号が加算されることとなり、インタレース走査方式であってもプログレッシブ走査方式の場合と同様にライン位置の等しい信号を加算できる。

ところで、撮像装置では、単に画像を撮像するだけでなく低速度撮像時でもシャッター機能を用いた撮像が行われる。ここで、撮像部２１での電荷蓄積期間を調整して電子シャッター動作を行うものとした場合、上述のように複数フレームの画像信号を加算すると、従来のようにフレーム毎にＣＣＤの電荷蓄積期間をシャッター速度に応じて制御すると、後述するように撮像画像に偽輪郭ができてしまう場合がある。このため、電子シャッター動作を行う場合、設定されたシャッター開期間と加算フレーム数に基づいてＣＣＤの電荷蓄積期間を制御する。また、フレーム加算部４１は、ＣＣＤでの電荷蓄積期間の制御に応じたフレーム加算処理を行う。

このＣＣＤ電荷蓄積期間の制御では、加算フレーム数の期間に対してシャッター開期間を連続して設定する。例えば、出力フレームレートを「２０Ｐ」に設定したとき、図１０から加算フレーム数が「３」で撮像フレームレートＦＲpは「６０Ｐ」となる。ここで、シャッター開期間を出力フレームレートに対して所望の割合例えば図２５Ａに示すように５０％とした場合、時点ｔ61から時点ｔ67までの出力フレームレートの１フレーム期間で図２６Ａに示すように被写体ＯＢbが位置ＰＪ11から位置ＰＪ17まで移動するとき、シャッター開期間中では図２６Ｂに示すように被写体ＯＢbが位置ＰＪ11から位置ＰＪ14に移動して、ＰＬラインの画像信号ＳＬeは図２６Ｃに示すものとなる。

撮像部２１で撮像フレーム毎にシャッター開期間を設けると、上述のように所望の割合としてシャッター開期間を５０％とした場合、図２５Ｂに示すように、撮像フレームレートＦＲpが「６０Ｐ」であるとき、時点ｔ61から時点ｔ62までのシャッター開期間中は、図２６Ｄに示すように被写体ＯＢbは位置ＰＪ11から位置ＰＪ12に移動して、ＰＬラインの画像信号ＳＬfは図２６Ｅに示すものとなる。また、時点ｔ63から時点ｔ64までのシャッター開期間中は、図２６Ｆに示すように被写体ＯＢbは位置ＰＪ13から位置ＰＪ14に移動して、画像信号ＳＬgは図２６Ｇに示すものとなり、時点ｔ65から時点ｔ66までのシャッター開期間中では、図２６Ｈに示すように被写体ＯＢbは位置ＰＪ15から位置ＰＪ16に移動して、画像信号ＳＬhは図２６Ｊに示すものとなる。このため、３フレーム分の画像信号を加算した画像信号ＳＬjは図２６Ｋに示すものとなり、偽輪郭が生じた画像となってしまう。そこで、図２５Ｃ〜図２５Ｅに示すように、加算フレーム数の期間に対してシャッター開期間を連続した５０％の期間とする。

このシャッター開期間は、連続していれば加算されるフレームの期間（以下「加算フレーム期間」という）内のいずれの位置に設けるものとしても良い。例えば図２５Ｃに示すように、フレーム「ＦＣ-1」〜「ＦＣ-3」が加算されるときには、フレーム「ＦＣ-1」の開始からフレーム「ＦＣ-3」の終了までが加算フレーム期間とされて、この加算フレーム期間の先頭側からシャッター開期間を設けるものとする。あるいは、図２５Ｄに示す様に加算フレーム期間の最後の部分にシャッター開期間を設けることもできる。さらに、図２５Ｅに示す様に加算フレーム数の期間の中央部分にシャッター開期間を設けるものとしてもよい。

この図２５Ｃに示す場合、ＣＣＤはフレーム「ＦＣ-1」の期間中、シャッター開動作を行う。このシャッター開動作では、電荷蓄積を行い蓄積された電荷に基づき画像信号を生成して出力する。またフレーム「ＦＣ-2」の期間中は、フレーム「ＦＣ-2」の開始である時点ｔ71から時点ｔ72までの期間、シャッター開動作を行う。その後、時点ｔ72からフレーム「ＦＣ-2」の終了である時点ｔ73は、シャッター閉動作として、画像信号の生成を行わないものとする。フレーム「ＦＣ-3」の期間中に蓄積された電荷は画像信号として用いることがないので、フレーム「ＦＣ-3」の期間はシャッター閉動作とする。また、フレーム加算部４１は、フレーム「ＦＣ-1」〜フレーム「ＦＣ-3」までに生成された画像信号を加算する。このようにすると、偽輪郭の無い撮像画像を得ることができる。

また、図２５Ｄに示す場合には、図２５ＣのＣＣＤとは逆に、シャッター閉動作を行って、その後シャッター開動作を行うことで偽輪郭の無い撮像画像を得ることができる。さらに、図２５Ｅに示すように、フレーム「ＦＣ-1」の期間中の途中からシャッター開動作を行い、シャッター開期間の終了時点でシャッター開動作を終了しても、偽輪郭の無い撮像画像を得ることができる。

また、メカニカルシャッターや光学的シャッターを用いて図２５Ｃ〜図２５Ｅに示すような連続したシャッタ開期間を設ければ、電子シャッターの場合と同様に、偽輪郭の無い撮像画像を得ることができる。

次に、フレームレート変換部５１の動作について説明する。上述のように出力フレームレートを変更して低速度撮像を行うものとした場合、この出力フレームレートの画像信号を用いて画像表示装置、例えば電子ビューファインダーに撮像画像を表示すると画像の更新間隔が長くなってしまう。そこで、フレームレート変換部５１は、画像信号ＤＶbに基づいてモニタフレームレートの画像信号を生成する。

図２７は、図６に示すフレームレート変換部５１のフレームレート変換動作を示すフローチャートである。ステップＳＴ５１では画像信号ＤＶbの垂直同期信号ＶＤbにおける同期パルスが検出されたか否かを判別する。ここで垂直同期信号ＶＤbの同期パルスが検出されたときにはステップＳＴ５２に進む。また、検出されないときにはステップＳＴ５６に進む。

ステップＳＴ５２では、書き込みＲＡＭの指定、すなわち画像信号ＤＶbを記憶するＲＡＭが、ＲＡＭ５１２a，５１２bのいずれかに指定されているときにはステップＳＴ５３に進み、指定されていなときにはステップＳＴ５４に進む。

ステップＳＴ５３では、指定されていない他方のＲＡＭを書き込みＲＡＭに指定してステップＳＴ５５に進む。ステップＳＴ５４では、ＲＡＭ５１２a，５１２bのいずれか一方を書き込みＲＡＭに指定してステップＳＴ５５に進む。ステップＳＴ５５では、指定された書き込みＲＡＭに対して１フレーム分の画像信号ＤＶbの書き込みを開始してステップＳＴ５６に進む。

ステップＳＴ５６では、画像表示装置に供給する画像信号に応じた垂直同期信号ＶＤrの同期パルスが検出されたか否かを判別する。ここで、垂直同期信号ＶＤrの同期パルスが検出されていないときにはステップＳＴ５１に戻る。また、検出されたときにはステップＳＴ５７に進む。

ステップＳＴ５７では、書き込みＲＡＭに指定されているＲＡＭを読み出しＲＡＭとしても設定してステップＳＴ５８に進む。ステップＳＴ５８では、読み出しＲＭＡから１フレーム分の信号読み出しを開始してステップＳＴ５１に戻る。

図２８Ａ〜図２８Ｆは、フレームレート変換部５１のフレームレート変換動作を説明するための図である。図２８Ａは、図２８Ｂに示す画像信号ＤＶbの垂直同期信号ＶＤbである。図２８ＣはＲＡＭ５１２aの動作、図２８ＤはＲＡＭ５１２bの動作を示している。

ここで、最初に書き込みＲＡＭが指定されていないときには、何れか一方例えばＲＡＭ５１２aを書き込みＲＡＭに指定して、このＲＡＭ５１２aに画像信号ＤＶbのフレーム「０f」の信号を記憶させる。また、１フレーム分の信号が記憶されて、時点ｔ82で垂直同期信号ＶＤbの同期パルスが検出されると、書き込みＲＡＭがＲＡＭ５１２bに切り換えられて、画像信号ＤＶbのフレーム「１f」の信号がＲＡＭ５１２bに記憶される。また、時点ｔ83で垂直同期信号ＶＤbの同期パルスが検出されると、書き込みＲＡＭがＲＡＭ５１２aに切り換えられて、画像信号ＤＶbのフレーム「２f」の信号がＲＡＭ５１２aに記憶される。以下同様にして、画像信号ＤＶbがフレーム単位で交互にＲＡＭ５１２aあるいはＲＡＭ５１２bに記憶される。

図２８Ｆは、モニタフレームレートの垂直同期信号ＶＤrを示しており、時点ｔ81で垂直同期信号ＶＤrの同期パルスが検出されると、書き込みＲＡＭであるＲＡＭ５１２aを読み出しＲＡＭに設定して、ＲＡＭ５１２aからフレーム「０f」の信号を読み出して図２８Ｅに示すモニタ画像信号ＤＶrを生成する。また、時点ｔ84で垂直同期信号ＶＤrの同期パルスが検出されると、書き込みＲＡＭであるＲＡＭ５１２aを読み出しＲＡＭに設定して、ＲＡＭ５１２aからフレーム「２f」の信号を読み出してモニタ画像信号ＤＶrとする。以下同様に処理することで、モニタフレームレートのモニタ画像信号ＤＶrを生成できる。

ここで、ＲＡＭ５１２a，５１２bとして、書き込みと読み出しを同時に行うことができるＲＡＭ例えばデュアルポートＲＡＭを用いることで、画像信号ＤＶbを書き込みながらモニタ画像信号ＤＶrを出力できる。また、書き込みと読み出しを同時に行うことができないＲＡＭをＲＡＭ５１６a，５１６bとして用いるとき、すなわち、図７に示すようにフレームレート変換部を構成したときには、図２９Ａ〜図２９Ｄを用いて説明する動作を行うことで、モニタフレームレートのモニタ画像信号ＤＶrを生成できる。

図２９Ａは、１画素を示すサンプリング周波数の基準信号ＰCLK、図２９Ｂが画像信号ＤＶb、図２９Ｃはレジスタ５１４から出力された画像信号ＤＶpを示している。ここで、ＲＡＭ５１６a，５１６bは画像信号ＤＶbの２倍の入力ビット幅を有していることから、図２９Ｄに示すように画像信号ＤＶb、ＤＶpを１つの信号として書き込むことで、２画素期間の信号を１画素期間で書き込むことができる。例えば画像信号ＤＶbの画素Ｐ1と画素Ｐ2の信号を１画素の信号ＤＷa（1,2）として書き込むことができる。したがって、書き込まれている２画素分単位の信号を、書き込みの空き時間を利用して、モニタフレームレートに応じたフレーム開始タイミングで読み出して信号ＤＷb（n，n+1）・・・とする。このように処理することで、書き込みと読み出しを同時に行うことができないＲＡＭを用いても、ほぼ同時に書き込みと読み出しを行うことが可能となり、モニタ画像信号ＤＶrを生成できる。

このように、フレームレート変換部５１からは、本線画像信号ＤＶjとは独立したモニタ画像信号ＤＶrが出力されるので、低速度撮像を行い出力フレームレートが小さくなっても、モニタ画像信号ＤＶrに基づく画像を電子ビューファインダ等の画像モニタに表示させることで、被写体を所望の位置として正しく撮像することができる。

ところで、上述の第１の構成では、撮像フレームレートとフレーム加算数を制御して、出力フレームレートを連続的に可変した本線画像信号ＤＶjの生成を行い、また撮像フレームレートのフレームレート変換を行うことで本線画像信号ＤＶjとは独立したモニタフレームレートのモニタ画像信号ＤＶrを生成するものとしたが、フレーム加算数の切り換えのみを行うように撮像装置を構成するものとしても良い。

図３０は、第２の構成としてフレーム加算数の切り換えのみを行う撮像装置の概要を示している。ここで、撮像ブロック２０は、駆動ブロック７０aからの駆動制御信号ＲＣ-aに基づき撮像素子を駆動して一定のフレームレートの画像信号ＤＶb-aを生成して本線画処理ブロック４０とモニタ画処理ブロック５０に供給する。本線画処理ブロック４０では、制御ブロック６０からの制御信号に基づきフレーム加算を行い、画像信号ＤＶb-aのフレームレートを「１／ＦＡ」倍とした出力フレームレートの本線画像信号ＤＶjを生成する。また、生成した本線画像信号ＤＶjに基づいて本線信号ＣＭoutの出力を行う。モニタ画処理ブロック５０では、制御ブロック６０からの制御信号に基づき画像信号ＤＶb-aのフレーム加算あるいはフレームレート変換を行い、モニタフレームレートのモニタ画像信号ＤＶrを生成する。また、生成したモニタ画像信号ＤＶrに基づいてモニタ信号ＭＴoutの出力を行う。

このように、画像信号ＤＶb-aのフレームレートを一定とすれば、本線画像信号のフレームレートの切り換えがステップ的に行われるものとなるが、撮像装置の構成や動作の制御を簡単として、本線画像信号ＤＶjとは独立したモニタフレームレートのモニタ画像信号ＤＶrを生成できる。また、本線信号ＣＭoutおよび本線信号ＣＭoutとは独立したモニタフレームレートのモニタ信号ＭＴoutを出力できる。

さらに、モニタ画像信号のフレームレートは、本線画像信号のフレームレートと等しく、あるいは本線画像信号のフレームレートよりも高くして、本線画処理ブロックのみを設けるものとしても、本線画像信号ＤＶjおよび本線画像信号ＤＶjとは独立したモニタフレームレートのモニタ画像信号ＤＶrを生成できる。図３１は、第３の構成として本線画処理ブロックのみを設けたときの撮像装置の概要を示している。ここで、撮像ブロック２０は、駆動ブロック７０bからの駆動制御信号ＲＣ-bに基づき撮像素子を駆動して、撮像画像を監視するための画像表示装置に応じたフレームレートの画像信号ＤＶb-ｂを生成する。この生成した画像信号ＤＶb-bをモニタ画像信号とする。また生成した画像信号ＤＶb-bを本線画処理ブロック４０に供給する。本線画処理ブロック４０では、制御ブロック６０bから供給された制御信号に基づきフレーム加算を行い、画像信号ＤＶb-bのフレームレートを出力フレームレートＦＲcに変換して本線画像信号とする。

このように、画像信号ＤＶb-bを画像表示装置に応じたフレームレートとすることにより、本線画処理ブロックを設けるだけで、所望の出力フレームレートの本線画像信号と、この本線画像信号とは独立したモニタフレームレートのモニタ画像信号をさらに容易に生成できる。

また、非破壊読み出しが可能な撮像素子、すなわち光電変換によって得られた電荷が排出されるまで、この電荷に基づいた信号を繰り返し読み出すことができる撮像素子、例えばＭＯＳ型の撮像素子を用いて撮像ブロックを構成すれば、撮像素子から信号を読み出すタイミングを制御することで、フレーム加算等を行わなくとも、所望のフレームレートの本線画像信号と、この本線画像信号とは独立したモニタ画像信号を同時に生成できる。この場合にも、モニタ画像信号のフレームレートは、本線画像信号のフレームレートと等しく、あるいは本線画像信号のフレームレートよりも高くする。

図３２は、第４の構成として撮像ブロック２０cに非破壊読み出しが可能な撮像素子を用いたときの撮像装置の概要を示している。制御ブロック６０cは、本線画像信号の出力フレームレートとモニタ画像信号のモニタフレームレートを示す制御信号ＴＣ-cを駆動ブロック７０cに供給する。駆動ブロック７０cは、出力フレームレートで撮像ブロック２０cから信号を読み出すための駆動信号ＲＣ-cと、モニタフレームレートで撮像ブロック２０cから信号を読み出すための駆動信号ＲＣ-dとを生成して撮像ブロック２０cに供給する。さらに、駆動ブロック７０cは、モニタ画像信号を正しく生成するための制御信号ＴＣ-cを生成して撮像ブロック２０cに供給する。撮像ブロック２０cは、駆動信号に基づいた信号読み出しを行い、本線画像信号とモニタ画像信号を生成する。

図３３は、撮像ブロック２０cの構成の一形態を示す図である。撮像ブロック２０cは、例えば駆動信号ＲＣ-cに基づき出力フレームレートＦＲcで電荷の読み出しやリセット動作（電荷排出動作）を行い本線画像信号を生成する。また、駆動信号ＲＣ-dに基づきモニタフレームレートで信号の非破壊読み出しを行い、読み出された信号を用いてモニタフレームレートの画像信号を生成する。なお、駆動信号ＲＣ-cは、後述する垂直走査部２２２と第１水平走査部２２３を駆動する信号で構成されるものであり、駆動信号ＲＣ-dは、後述する垂直走査部２２２と第２水平走査部２２４、メモリ２２５，２２８信号セレクタ２３０を駆動する信号で構成されるものである。

撮像ブロック２０cの垂直走査部２２２は、駆動信号ＲＣ-cに基づき出力フレームレートで１ライン毎に信号を光電変換部２２１から読み出して第１水平走査部２２３に供給する。また、駆動信号ＲＣ-dに基づき、光電変換部２２１からモニタフレームレートで１ライン毎に信号の非破壊読み出しを行い、読み出した信号を第２水平走査部２２４に供給する。

第１水平走査部２２３に供給された信号は、出力フレームレートに基づいた画素周期で読み出されて本線画像信号として出力される。

第２水平走査部２２４に供給された信号は、モニタフレームレートに基づいた画素周期で読み出されてメモリ２２５と減算器２２６と加算器２２９に供給される。メモリ２２５は、第２水平走査部２２４に供給された信号を順次１モニタフレーム単位で記憶する。またメモリ２２５から読み出された信号は、減算器２２６，２２７に供給される。

減算器２２６は、第２水平走査部２２４より出力された信号からメモリ２２５に記憶されている１モニタフレーム前の信号を、等しい表示位置の画素毎に減算して信号セレクタ２３０の端子ａに供給する。減算器２２７は、第１水平走査部２２３から出力された信号を用いて、メモリ２２５に記憶されている信号のあとに出力フレームレートで読み出しが行われた信号から、メモリ２２５に記憶されている信号を等しい表示位置の画素毎に減算してメモリ２２８に供給する。メモリ２２８は、第２水平走査部２２４に供給された信号を記憶する。またメモリ２２８から読み出された信号は、加算器２２９に供給される。

加算器２２９は、第２水平走査部２２４からその後出力された信号とメモリ２２８の信号を等しい表示位置の画素毎に加算して信号セレクタ２３０の端子ｂに供給する。

信号セレクタ２３０は、モニタフレームレートの期間内にリセット動作が行われていないときは、可動端子ｃを端子ａ側に設定して減算器２２６で得られた信号をモニタ画像信号として出力する。また、モニタフレームレートの期間内にリセット動作が行われたときは、可動端子ｃを端子ｂ側に設定して加算器２２９で得られた信号をモニタ画像信号として出力する。

図３４Ａ〜図３４Ｃは、撮像ブロック２０cの動作を説明するための図である。図３４Ａは、光電変換部２２１から第１水平走査部２２３あるいは第２水平走査部２２４に読み出される１つの画素の信号ＬＳを示している。また、図３４Ｂは出力フレームレートの垂直同期信号ＶＤc、図３４Ｃはモニタフレームレートの垂直同期信号ＶＤrを示している。

撮像ブロック２０cは、時点ｔ91で垂直同期信号ＶＤcの同期パルスが検出されたとき露光を開始して、１出力フレームの期間経過後の時点ｔ94で信号の読み出しを行う。この読み出された信号ＬＳ1に基づいて第１水平走査部２２３から出力を行うことで本線画像信号を生成できる。なお、信号の読み出し後はリセット動作を行うことで、出力フレームの期間中に蓄積された電荷に応じた信号を本線画像信号として生成できる。

また、撮像ブロック２０cは、時点ｔ92で垂直同期信号ＶＤrの同期パルスが検出されたとき非破壊読み出しを行い、読み出した信号をメモリ２２５に記憶させる。次に、時点ｔ93で垂直同期信号ＶＤrの同期パルスが検出されたときも非破壊読み出しを行う。ここで、減算器２２６は、時点ｔ93で読み出された信号から、メモリ２２５に記憶されている時点ｔ92で読み出された信号を減算する。また、時点ｔ92〜ｔ93の期間中はリセット動作が行われていないことから、信号セレクタ２３０の可動端子ｃを端子ａ側に切り換えて、減算器２２６で得られた信号をモニタ画像信号として信号セレクタ２３０から出力する。このときのモニタ画像信号は、時点ｔ92〜ｔ93の期間中に蓄積された電荷に基づく信号ＬＳ2に応じた信号となる。

時点ｔ93〜ｔ95までの１モニタフレームの期間内に出力フレームレートの垂直同期信号ＶＤcの同期パルスが時点ｔ94で検出されたとき、減算器２２７では、時点ｔ94で読み出された本線画像信号から、メモリ２２５に記憶されている時点ｔ93で読み出された信号を減算して、メモリ２２８に記憶させる。このメモリ２２８に記憶された信号は、時点ｔ93〜ｔ94の期間中に蓄積された電荷に基づく信号ＬＳ3に応じた信号である。

時点ｔ95で垂直同期信号ＶＤrの同期パルスが検出されたときに非破壊読み出しによって得られた信号は、時点ｔ94でリセット動作が行われていることから、時点ｔ94〜ｔ95の期間中に蓄積された電荷に基づく信号ＬＳ4に応じた信号である。このため、加算器２２９は、時点ｔ94〜ｔ95の期間中に蓄積された電荷に基づく信号ＬＳ4に応じた信号と、メモリ２２８に記憶されている時点ｔ93〜ｔ94の期間中に蓄積された電荷に基づく信号ＬＳ3に応じた信号とを加算して、時点ｔ93〜ｔ95の期間中に蓄積された電荷に基づく信号ＬＳ3+ＬＳ4に応じた信号を生成する。また、時点ｔ93〜ｔ95の期間中にリセット動作が行われていたことから、信号セレクタ２３０の可動端子ｃを端子b側に切り換えて、加算器２２９で得られた信号をモニタ画像信号として信号セレクタ２３０から出力する。

このように、出力フレームレートで信号の読み出しを行うとともに、モニタフレームレートで信号の読み出しを非破壊で行い、それぞれのフレーム期間中に蓄積された電荷に基づいた信号に応じて本線画像信号とモニタ画像信号を生成することで、所望の出力フレームレートの本線画像信号と、この本線画像信号とは独立したモニタフレームレートのモニタ画像信号を生成できる。また、図３３に示す撮像ブロック２０cに、図４に示す出力信号処理部４２、信号出力部４３、モニタ信号処理部５２、信号出力部５３を設けることで、第１の構成の撮像装置と同様に本線信号やモニタ信号の出力を行うことができる。

以上のように、本発明に係る撮像装置および撮像方法は、出力フレームレートの画像信号だけでなく、出力フレームレートと独立したフレームレートのモニタ画像信号を生成する。このため、モニタ画像信号に基づく画像を参照することで、撮像速度を例えば低速度としても被写体が所望の画面上の位置となるように撮像を行うことができるので、可変速フレームレートでの撮像等に好適である。また、フレーム加算が行われた出力フレームレートの画像信号に対してプロセス処理が行われるので、プロセス処理が正しく行われた出力フレームレートの画像信号を得ることができる。

図１Ａ〜図１Ｃは、撮像速度と電荷蓄積量の関係を示す図である。図２Ａ〜図２Ｈ、図２Ｊ〜図２Ｌは、動作原理を説明するための図である。図３は、第１の構成の概要を示す図である。図４は、撮像装置の第１の構成を示す図である。図５は、フレーム加算部の構成を示す図である。図６は、フレームレート変換部の構成を示す図である。図７は、フレームレート変換部の他の構成を示す図である。図８Ａ〜図８Ｇは、フレーム加算前とフレーム加算後の輪郭補償処理を説明するための図である。図９は、出力フレームレートＦＲcに応じた加算フレーム数ＦＡと撮像フレームレートＦＲpの設定動作を示すフローチャートである。図１０は、加算切換情報と撮像フレームレートを示す図である。図１１は、ＦＩＴ形ＣＣＤの概略構成を示す図である。図１２は、ＩＴ形ＣＣＤの概略構成を示す図である。図１３Ａ〜図１３Ｃは、ＣＤＲ方式を用いた場合の帰線期間と有効画面期間を示す図である。図１４Ａ〜図１４Ｈ、図１４Ｊ〜図１４Ｎは、水平帰線期間の長さを調整する場合の動作を説明するための図である。図１５Ａ〜図１５Ｇは、垂直帰線期間の長さを調整する場合の動作を説明するための図である。図１６は、フレーム加算動作を示すフローチャートである。図１７は、読み出し対応処理を示すフローチャートである。図１８Ａ〜図１８Ｇは、加算フレーム数が「２」の場合の動作を示す図である。図１９Ａ〜図１９Ｅは、加算フレーム数が「２」の場合での信号セレクタ設定位置を示す図である。図２０Ａ〜図２０Ｇは、加算フレーム数が「３」の場合の動作を示す図である。図２１Ａ〜図２１Ｃは、加算フレーム数が「３」の場合での信号セレクタ設定位置を示す図である。図２２Ａ〜図２２Ｇは、出力フレームレートの可変動作（加算フレーム数が変化しない場合）を説明するための図である。図２３Ａ〜図２３Ｇは、出力フレームレートの可変動作（加算フレーム数が変化する場合）を説明するための図である。図２４Ａ〜図２４Ｈ及び図２４Ｊは、インタレース走査方式の場合のフレーム加算方法を示す図である。図２５Ａ〜図２５Ｅは、フレーム加算時のシャッター動作を説明するための図である。図２６Ａ〜図２６Ｈ、図２６Ｊ及び図２６Ｋは、シャッター動作時での撮像画像の画像信号を示す図である。図２７は、フレームレート変換動作を示すフローチャートである。図２８Ａ〜図２８Ｆは、フレームレート変換部の動作を説明するための図である。図２９Ａ〜図２９Ｄは、フレームレート変換部の他の構成の動作を説明するための図である。図３０は、第２の構成の概要を示す図である。図３１は、第３の構成の概要を示す図である。図３２は、第４の構成の概要を示す図である。図３３は、撮像ブロック２０cの構成を示す図である。図３４Ａ〜図３４Ｃは、撮像ブロック２０cの動作を説明するための図である。

Claims

被写体を撮像して撮像フレームレートの画像信号を生成する撮像手段と、
前記撮像フレームレートの画像信号に対してフレーム加算を行い出力フレームレートの画像信号を生成する加算処理手段と、
前記出力フレームレートの画像信号に対してプロセス処理を行う信号処理手段と、
前記撮像フレームレートの画像信号から、前記出力フレームレートと独立したフレームレートのモニタ画像信号を生成するモニタ画処理手段と
を有する撮像装置。
前記信号処理手段は、少なくともガンマ補正処理、およびニー補正処理を含むプロセス処理を行う請求項１記載の撮像装置。
前記撮像手段は、生成する前記画像信号の撮像フレームレートを変更可能とする請求項１記載の撮像装置。
前記撮像手段によって、前記画像信号の撮像フレームレートを変更する際にＣＤＲ(Common Data Rate)方式を用いる請求項３記載の撮像装置。
前記モニタ画処理手段は、前記画像信号の撮像フレームレートを可変することで、前記出力フレームレートと独立したフレームレートのモニタ画像信号を生成する請求項１記載の撮像装置。
被写体を撮像して撮像フレームレートの画像信号を生成する第１のステップと、
前記撮像フレームレートの画像信号に対してフレーム加算を行い出力フレームレートの画像信号を生成する第２のステップと、
前記出力フレームレートの画像信号に対してプロセス処理を行う第３のステップと、
前記撮像フレームレートの画像信号から、前記出力フレームレートと独立したフレームレートのモニタ画像信号を生成する第４のステップと
を有する撮像方法。