JP4458132B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP4458132B2 JP4458132B2 JP2007220237A JP2007220237A JP4458132B2 JP 4458132 B2 JP4458132 B2 JP 4458132B2 JP 2007220237 A JP2007220237 A JP 2007220237A JP 2007220237 A JP2007220237 A JP 2007220237A JP 4458132 B2 JP4458132 B2 JP 4458132B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- frame
- imaging
- image
- signal processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
この発明は撮像装置に関する。詳しくは、画像信号を用いて行う信号処理動作を変更する際に、この変更を加算処理手段でのフレーム加算期間単位で行い、撮像手段の電荷蓄積時間を調整するシャッターの開期間をフレーム加算期間に対して連続させるものである。
The present invention relates to an imaging apparatus. Specifically, when the signal processing operation performed using the image signal is changed, the change is performed in units of the frame addition period in the addition processing unit , and the shutter open period for adjusting the charge accumulation time of the imaging unit is set as the frame addition period. Is continuous with respect to .
従来の映画製作等では、特殊な映像効果を得ることができるように、フィルムカメラの撮影速度、すなわち1秒間のコマ数を可変させた撮影が行われている。例えば、撮影は通常の速度よりも高速で行い、再生は通常速度で行うものとすると、再生画像はスロー再生画像となる。このため、水面に水滴が落下したときのような高速度動作を容易かつ詳細に観察できる。また、撮影は通常の速度よりも低速で行い、再生は通常速度で行うものとすると、高速再生画像となる。このため、格闘シーンやカーチェイスシーン等でのスピード感を高めて臨場感の高い画像提示を行うことができる。 In conventional movie production and the like, shooting is performed by varying the shooting speed of a film camera, that is, the number of frames per second, so that a special video effect can be obtained. For example, if shooting is performed at a speed higher than the normal speed and playback is performed at the normal speed, the playback image becomes a slow playback image. For this reason, it is possible to observe easily and in detail a high-speed operation like when a water droplet falls on the water surface. If shooting is performed at a lower speed than normal speed and playback is performed at a normal speed, a high-speed playback image is obtained. For this reason, it is possible to enhance the sense of speed in a fighting scene, a car chase scene, etc., and to present an image with a high sense of reality.
また、テレビジョン番組制作等では、番組の撮像や編集および送出等のディジタル化が図られていたが、ディジタル技術の進展に伴う高画質化や機器の低価格化によって、映画製作等においてもディジタル化が図られてきている。 Also, in television program production, etc., digitization such as program shooting, editing, and transmission has been attempted, but in the production of movies, etc. due to the increase in image quality and the reduction in equipment prices accompanying the advancement of digital technology. It has been planned.
ここで、映画製作等のディジタル化により撮像装置(ビデオカメラ)を用いて撮像を行うものとした場合、上述のように特殊な映像効果を得るためには、例えば所定の速度で撮像を行って得られた画像信号だけでなく、高速に撮像を行って得られた画像信号や低速に撮像を行って得られた画像信号を、サーバ等の記録装置に全て記録させる。次に、この記録されている画像信号から特殊な映像効果を得るために必要とされるフレーム画像の画像信号を読み出して画像処理を行うことで、特殊な映像効果を得られる画像信号が生成される。 Here, when imaging is performed using an imaging device (video camera) by digitization such as movie production, in order to obtain a special video effect as described above, for example, imaging is performed at a predetermined speed. Not only the obtained image signal but also the image signal obtained by imaging at high speed and the image signal obtained by imaging at low speed are all recorded in a recording device such as a server. Next, an image signal that can obtain a special video effect is generated by reading out the image signal of the frame image necessary for obtaining a special video effect from the recorded image signal and performing image processing. The
また、高速再生やスロー再生等の特殊な映像効果を容易に得ることができるように、撮像時にフレームレートを可変することが可能とされている特許文献1の撮像装置を用いて、所定のフレームレートよりもフレームレートを低下して撮像を行い、所定のフレームレートで再生すれば、簡単に高速再生画像を得ることができる。また、フレームレートを高くして撮像を行い所定のフレームレートで再生すれば、簡単にスロー再生画像を得ることができる。
In addition, a predetermined frame is used by using the imaging apparatus of
さらに、フレーム加算を行うことでフレームレートを可変することもできる。例えばnフレーム分の画像信号を加算することで、フレームレートが(1/n)倍とされた画像信号を生成できる。 Furthermore, the frame rate can be varied by performing frame addition. For example, an image signal with a frame rate of (1 / n) times can be generated by adding image signals for n frames.
ところで、撮像装置を用いて撮像を行う場合、ノイズが少なく感度や色再現性の良好な撮像画像を得るため、種々の信号処理動作例えばホワイトバランス調整や利得制御,シェーディング補正等の信号処理動作が行われている。また、使用者の操作に応じて信号処理動作の設定を変更しても、フレーム画像の途中で信号処理動作が変更されてしまうことがないように、変更はフレーム単位で行われている。このため、フレーム加算処理を行うことでフレームレートを可変した場合、加算期間の途中で信号処理動作が変更されている画像信号が用いられると、フレーム加算後の画像信号に基づく画像は、信号処理動作の変更が正しく反映されていない不自然なものとなってしまう。例えば、2フレーム加算を行っているとき、加算する2フレーム目の画像信号として信号処理動作が変更された画像信号が用いられてしまうと、加算後の画像信号は、信号処理動作が変更された画像信号を2フレーム分加算した画像信号と異なるものとなり、信号処理動作の変更が正しく反映されていない画像となってしまう。 By the way, when imaging using an imaging device, various signal processing operations such as white balance adjustment, gain control, and shading correction are performed in order to obtain a captured image with low noise and good sensitivity and color reproducibility. Has been done. Further, even if the setting of the signal processing operation is changed according to the user's operation, the change is performed on a frame basis so that the signal processing operation is not changed in the middle of the frame image. Therefore, when the frame rate is varied by performing frame addition processing, if an image signal whose signal processing operation is changed during the addition period is used, an image based on the image signal after frame addition is processed by signal processing. It becomes unnatural that the change in behavior is not correctly reflected. For example, when adding two frames, if an image signal whose signal processing operation is changed is used as the image signal of the second frame to be added, the signal processing operation is changed for the image signal after addition. The image signal is different from the image signal obtained by adding two frames of the image signal, and the change in the signal processing operation is not correctly reflected.
そこで、この発明では、フレーム加算を行ってフレームレートを可変するとき、信号処理動作の設定の変更が正しく反映された画像信号を得ることができる撮像装置を提供するものである。 Therefore, the present invention provides an imaging apparatus capable of obtaining an image signal in which a change in setting of a signal processing operation is correctly reflected when frame addition is performed to change the frame rate.
この発明に係る撮像装置は、被写体を撮像して画像信号を生成する撮像手段と、所定の加算フレーム数によって定まるフレーム加算期間単位で該画像信号のフレーム加算を行って可変フレームレート画像を生成するフレーム加算手段と、撮像手段の電荷蓄積時間を調整するシャッターの開期間をフレーム加算期間に対して連続させ、撮像手段から画像信号の読み出しを制御して、画像信号のフレームレートを可変させると共に、フレーム加算手段にフレーム加算を行わせ、撮像手段によって生成される画像信号の可変フレームレートと、フレーム加算手段による加算フレーム数と、を切り換えて、フレーム加算手段に連続して可変フレームレート画像を生成する制御手段とを備えるものである。 An imaging apparatus according to the present invention generates an image signal by imaging a subject, and generates a variable frame rate image by performing frame addition of the image signal in units of a frame addition period determined by a predetermined number of addition frames. The frame addition means and the shutter open period for adjusting the charge accumulation time of the imaging means are made continuous with respect to the frame addition period, and the readout of the image signal from the imaging means is controlled to vary the frame rate of the image signal, Frame addition means performs frame addition, switches between the variable frame rate of the image signal generated by the imaging means and the number of frames added by the frame addition means, and continuously generates a variable frame rate image to the frame addition means Control means .
この発明においては、被写体を撮像して生成された画像信号を用いて信号処理動作を行い、この信号処理動作を行うことにより得られた画像信号のフレーム加算を行うことで可変フレームレートの画像信号が生成される。ここで、信号処理動作の変更指示がなされたときは、フレーム加算期間を示す判別信号に基づき、この変更指示がなされた後のフレーム加算期間単位の画像信号から変更指示が実施される。あるいは、信号処理手段に対する信号処理動作の変更指示がフレーム加算期間の開始時あるいは終了時に行われる。また、シャッター動作が行われたときは、シャッター開期間がフレーム加算期間中に連続して設定される。 In the present invention, an image signal having a variable frame rate is obtained by performing a signal processing operation using an image signal generated by imaging a subject and performing frame addition of the image signal obtained by performing this signal processing operation. Is generated. Here, when an instruction to change the signal processing operation is made, the instruction to change is performed from the image signal in units of the frame addition period after the change instruction is made based on the determination signal indicating the frame addition period. Alternatively, a signal processing operation change instruction to the signal processing means is given at the start or end of the frame addition period. When the shutter operation is performed, the shutter open period is set continuously during the frame addition period.
この発明によれば、被写体を撮像して生成された画像信号を用いて信号処理動作を行い、この信号処理動作を行うことにより得られた画像信号のフレーム加算する場合、信号処理動作の変更は、フレーム加算期間単位で行われる。このため、フレーム加算中に信号処理動作が変更されて、信号処理動作の変更が正しく反映されていない画像となってしまうことを防止できる。 According to the present invention, when a signal processing operation is performed using an image signal generated by capturing an image of a subject and a frame of an image signal obtained by performing this signal processing operation is added, the signal processing operation is changed. This is performed in units of frame addition periods. For this reason, it is possible to prevent the signal processing operation from being changed during the frame addition and an image in which the change in the signal processing operation is not correctly reflected.
また、フレーム加算期間を示す判別信号が生成されて、信号処理動作の変更指示がなされたとき、この判別信号に基づき、変更指示後のフレーム加算期間単位の画像信号から変更指示が実施される。あるいは、信号処理手段に対する信号処理動作の変更指示が、フレーム加算期間単位で行われる。このため、信号処理動作の変更がフレーム加算期間単位で行われて、信号処理動作の変更が正しく反映されていない画像となってしまうことを防止できる。さらに、シャッター動作を行うときに、シャッター開期間がフレーム加算期間中に連続して設定されるので、偽輪郭が生じてしまうことを防止できる。 In addition, when a determination signal indicating a frame addition period is generated and an instruction to change the signal processing operation is issued, the change instruction is executed based on the image signal in units of the frame addition period after the change instruction based on the determination signal. Alternatively, an instruction to change the signal processing operation to the signal processing means is performed in units of frame addition periods. For this reason, it is possible to prevent the change in the signal processing operation from being performed in units of frame addition periods and the image in which the change in the signal processing operation is not correctly reflected. Furthermore, when the shutter operation is performed, the shutter open period is set continuously during the frame addition period, so that a false contour can be prevented from occurring.
以下、図を参照しながら、この発明の実施の一形態について説明する。図1は撮像装置10の構成を示している。撮像部12を構成する撮像素子(図示せず)の撮像面上には、撮像レンズ部11を通して入射された光に基づいた被写体画像が結像される。撮像素子は、光電変換によって被写体画像の撮像電荷を生成し、後述する駆動部25からの駆動制御信号DRに基づいて撮像電荷を読み出して電圧信号に変換する。さらに、この電圧信号を撮像信号Spaとしてプリアンプ部13に供給する。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows the configuration of the
プリアンプ部13は、撮像信号Spaを増幅したのちノイズ成分を除去する処理、例えば相関二重サンプリング処理を行う。またノイズ除去された画像信号をディジタル信号に変換して、フィードバッククランプ処理を行い、安定した黒レベルで所要の大きさの画像信号を生成する。さらにフレアー補正を行い、フレア量に応じて画像信号の信号レベルを補正する。また、プリアンプ部13は、撮像素子の欠陥に対する補正処理等も行う。このプリアンプ部13での処理は、駆動部25から供給された同期信号SYeを基準として行い、処理後の画像信号DVaを、この画像信号DVaに対する同期信号とともにプリアンプ部13に供給する。また、画像信号DVaをフォーカス・アイリス調整部28に供給する。なお、後述するプリプロセス部14やフレーム加算処理部15、本線用信号処理部16、モニタ用信号処理部17でも、画像信号とともに供給された同期信号(図示せず)を基準として処理を行い、処理後の画像信号と画像信号に対する同期信号を次の処理部に供給する。
The
プリプロセス部14は、画像信号DVaを用いて信号処理動作、例えばホワイトバランス調整やゲイン補正およびホワイトシェーディング補正等の処理を行う。このプリプロセス部14で得られた画像信号DVbは、フレーム加算処理部15に供給する。プリプロセス部14で行う信号処理動作は、後述する制御部30の動作設定部32から供給された設定信号CTに基づいて設定される。また、動作設定部32からの設定信号CTによって信号処理動作が変更されるとき、後述する制御部30を構成する信号生成部31のパルス生成回路315から供給された判別信号TMを用いて、フレーム加算処理部15でのフレーム加算期間終了後に変更を反映させる。
The preprocessing
フレーム加算処理部15は、画像信号DVbに対してフレーム加算処理を行い、画像信号DVbのフレームレートを可変する。このフレーム加算処理は、RAM(Random Access Memory)を用いて行うことができる。例えば、3フレーム加算を行う場合、1フレーム目の画像信号DVbをRAM-1に記憶させ、このRAM-1に記憶された信号を読み出して2フレーム目の画像信号DVbと加算してRAM-2に記憶させる。このRAM-2に記憶されている加算信号を読み出して3フレーム目の画像信号DVbと加算してRAM-3に記憶させる。このRAM-3に記憶された信号は、3フレーム分の画像信号DVbを加算した信号となり、この信号を読み出して信号レベルを(1/3)倍すれば、所要の信号レベルであるとともに、フレームレートを1/3倍した信号となる。また、4フレーム目の画像信号DVbをRAM-1に記憶させ、このRAM-1に記憶された信号を読み出して5フレーム目の画像信号DVbと加算してRAM-2に記憶させる。このRAM-2に記憶されている加算信号を読み出して6フレーム目の画像信号DVbと加算してRAM-3に記憶させる。このRAM-3に記憶された信号は、3フレーム分の画像信号DVbを加算した信号となり、この信号を読み出して信号レベルを(1/3)倍すれば、所要の信号レベルであるとともに、フレームレートを1/3倍した信号となる。以下同様にして、3フレーム分の画像信号DVbを加算した所要の信号レベルの画像信号DVcを順次生成することができる。
The frame
なお、フレーム加算処理は、フレーム遅延回路を用いても行うことができる。例えば、1フレーム目の画像信号DVbをフレーム遅延回路で2フレーム期間遅延させると共に、2フレーム目の画像信号DVbをフレーム遅延回路で1フレーム期間遅延させる。この遅延させた1フレーム目の画像信号と2フレーム目の画像信号DVbを、3フレーム目の画像信号DVbに加算して3フレーム分の画像信号DVbが加算された信号を得て、この信号の信号レベルを上述のように(1/3)倍すれば、所要の信号レベルであるとともに、フレームレートを1/3倍した画像信号DVcを得ることができる。 The frame addition process can also be performed using a frame delay circuit. For example, the image signal DVb of the first frame is delayed for two frame periods by the frame delay circuit, and the image signal DVb of the second frame is delayed by one frame period by the frame delay circuit. The delayed image signal of the first frame and the image signal DVb of the second frame are added to the image signal DVb of the third frame to obtain a signal obtained by adding the image signal DVb for three frames. If the signal level is multiplied by (1/3) as described above, an image signal DVc having a required signal level and a frame rate of 1/3 can be obtained.
このようにフレーム加算処理を行うことで、例えば、画像信号DVbのフレームレートが「60P(数字は1秒当たりのフレーム数、Pはプログレッシブ方式の信号であることを示すものであり、他の場合も同様である)」であるとき、加算フレーム数を2フレームとして例えば60Pの出力フレームレートで読み出すものとすれば、「30P」のフレームレートの画像信号を得ることができる。また加算フレーム数を4フレームとすれば、「15P」のフレームレートの画像信号を得ることができる。 By performing the frame addition processing in this way, for example, the frame rate of the image signal DVb is “60P (the number indicates the number of frames per second, P indicates that it is a progressive signal, and in other cases Is the same)), the image signal with the frame rate of “30P” can be obtained if the number of added frames is set to 2 frames and read at an output frame rate of 60P, for example. If the number of added frames is four, an image signal having a frame rate of “15P” can be obtained.
さらに、加算フレーム数の切り換えだけでなく、撮像素子からの信号読み出しを制御して撮像信号Spaのフレームレートを可変すれば、画像信号DVcのフレームレートを連続して可変することが可能となる。 Furthermore, if the frame rate of the imaging signal Spa is varied by controlling the signal readout from the imaging device as well as switching the number of added frames, the frame rate of the image signal DVc can be continuously varied.
フレーム加算処理部15で得られた所望のフレームレートの画像信号DVcは、本線用信号処理部16とモニタ用信号処理部17に供給される。
The image signal DVc having a desired frame rate obtained by the frame
本線用信号処理部16は、フレーム加算処理部15から供給された画像信号DVcに対して例えばγ補正(Gamma Correction)や輪郭補償処理およびニー補正(Knee Correction)等のプロセス処理を行う。この本線用信号処理部16で処理を行うことにより得られた画像信号DVdは、信号出力部18に供給される。
The main line
モニタ用信号処理部17は、撮像画像の確認を行うために接続された画像表示装置に応じたプロセス処理を行う。例えば、撮像画像の確認のために陰極線管や液晶表示素子を用いて画像表示を行う場合、陰極線管や液晶表示素子のγ特性や階調表示特性等に応じたプロセス処理を行う。このモニタ用信号処理部17で処理を行うことにより得られた画像信号DVeは、信号出力部19に供給される。
The monitor
信号出力部18は、画像信号DVdをこの撮像装置に接続される記録機器等に応じた信号CMoutに変換して出力する。例えば、コンポーネント信号に対応した機器やコンポジット信号に対応した機器を撮像装置と接続されている場合、画像信号DVdをそれぞれの機器に応じた信号CMoutに変換して出力する。またSMPTE259MやSMPTE292Mとして規格化されているシリアルディジタルインタフェース等を介して画像信号を伝送する場合には、インタフェース規格に応じた伝送信号を画像信号DVdに基づいて生成して信号CMoutとして出力する。また、信号CMoutに同期した同期信号SYoutから水平同期信号HDoutを抽出して信号生成部31の位相比較回路313に供給する。
The
信号出力部19は、供給された画像信号DVeを、撮像画像確認用の画像表示装置に応じた信号MToutに変換して出力する。例えば画像表示装置がアナログ信号を用いるものであるときには、画像信号DVeをアナログ信号に変換して信号MToutとして出力する。
The
信号生成部31の同期分離回路311は、カメラ制御器(図示せず)から供給された基準同期信号SYrefから垂直同期信号VDrefを分離して、内部同期信号発生回路312に供給する。また、基準同期信号SYrefから水平同期信号HDrefを分離して、位相比較回路313に供給する。
The
内部同期信号発生回路312は、後述する電圧制御発振器(VCO)314から供給された発振信号MCを用いて、新たに同期信号SYcを垂直同期信号VDrefに同期させて生成し、パルス生成回路315に供給する。
The internal synchronization
位相比較回路313は、信号出力部18から出力される信号CMoutに含まれる水平同期信号HDoutと、同期分離回路311から供給された水平同期信号HDrefの位相差を判別して、位相差がなくなるように電圧制御発振器314で生成する発振信号MCの周波数を制御する。
The
パルス生成回路315は、撮像部12を駆動するための基準として用いる同期信号SYdと、信号出力部18から出力される画像信号の同期信号SYoutとの位相差分だけ、内部同期信号発生回路312から供給された同期信号SYcの位相を進めて、この位相を進めた同期信号を同期信号SYdとして駆動部25に供給する。このため、同期信号SYoutは同期信号SYcに同期した信号となり、水平同期信号HDoutと水平同期信号HDrefの位相が等しくなるように、発振信号MCの周波数を制御することで、信号出力部18から出力される信号CMoutを基準同期信号SYrefに同期させることができる。
The
また、パルス生成回路315には、動作設定部32からフレームレート設定信号RSFが供給されて、信号出力部18から出力される信号CMoutがフレームレート設定信号RSFで示されたフレームレートとなるように、撮像部12の撮像フレームレートを調整するためのタイミング信号PTを駆動部25に供給するとともに、フレーム加算処理部15で加算フレーム数分の画像信号DVbを加算して画像信号DVcを得るため、例えばRAMへの画像信号の書き込みや読み出しを制御するパルス信号CRWを生成して供給する。また、フレーム加算処理がフレーム加算処理部15で行われるとき、このフレーム加算期間を示す判別信号TMを生成してプリプロセス部14とフォーカス・アイリス調整部28に供給する。
The
駆動部25は、供給された同期信号SYdに基づいて、撮像部12の撮像素子を駆動するための駆動制御信号DRを生成して撮像部12に供給する。また、タイミング信号PTに基づき駆動制御信号DRの生成を制御して、フレームレートを可変させた撮像信号Spaが得られるように撮像素子を駆動させる。さらに、プリアンプ部13に供給される撮像信号Spaの同期信号SYeを、プリアンプ部13に供給する。なお、駆動部25に対して、同期信号SYdと同期信号SYoutとの位相差分だけ、同期信号SYcに含まれている水平同期信号の位相を進めて供給し、駆動部25で同期信号SYeを生成するものとしても良い。また、撮像信号Spaのフレームレートを設定する情報を動作設定部32から駆動部25に供給して、この情報に基づき撮像素子を駆動する信号を生成することもできる。
The
フォーカス・アイリス調整部28は、画像信号DVaの信号レベルを判別して、判別された信号レベルに基づいたアイリス調整信号Dirを生成する。このアイリス調整信号Dirを撮像レンズ部11に供給して、撮像レンズ部11に設けられている絞りを制御することによりアイリス調整を行う。また、画像信号DVaの高周波成分を検出して、高周波成分が最大となるようにフォーカス調整信号Dfoを生成する。このフォーカス調整信号Dfoを撮像レンズ部11に供給して、撮像レンズ部11のレンズを駆動することによりフォーカス調整を行う。このようなアイリス調整やフォーカス調整は、判別信号TMで示されたフレーム加算期間単位で行うものとしあるいは例えばフレーム単位で行うものとする。また、フレーム加算期間単位で行うかフレーム単位で行うかの選択は設定信号CTによって選択される。
The focus /
制御部30の動作設定部32には、ユーザインタフェース部40が接続されている。このユーザインタフェース部40を介して、ユーザ操作に応じた操作信号PSが供給されると、動作設定部32は、この操作信号PSに基づいて設定信号CTを生成して各部の動作を設定することにより、撮像装置をユーザの操作に応じて動作させる。また、信号出力部18から出力される信号CMoutのフレームレートを設定するフレームレート設定信号RSFがユーザインタフェース部40を介して、動作設定部32に供給されたとき、例えば操作部で撮像速度の切り換えを行い、操作信号PSとしてフレームレート設定信号RSFが動作設定部32に供給されたとき、あるいはリモートコントロール装置や外部の機器からフレームレート設定信号RSFが動作設定部32に供給されたとき、動作設定部32は、フレームレート設定信号RSFをパルス生成回路315に供給する。
A
次に、撮像装置の動作について説明する。フレームレート設定信号RSFによって設定されるフレームレート(設定フレームレート)は、上述したように撮像部12で生成される撮像信号Spaのフレームレート(撮像フレームレートFRp)とフレーム加算処理部15での加算フレーム数FAを切り替えることで連続して可変できる。例えば図2に示すように、フレームレート設定信号RSFによって設定フレームレートFRcが「60P≧FRc>30P」の範囲内に設定されたときは、加算フレーム数FAを「1」として、撮像フレームレートFRpを設定フレームレートFRcと等しくする。設定フレームレートFRcが「30P≧FRc>20P」の範囲内に設定されたときは、加算フレーム数FAを「2」として、撮像フレームレートFRpを設定フレームレートFRcの2倍とする。設定フレームレートFRcが「20P≧FRc>15P」の範囲内に設定されたときは、加算フレーム数FAを「3」として、撮像フレームレートFRpを設定フレームレートFRcの3倍とする。以下同様にして、撮像フレームレートFRpと加算フレーム数FAを切り替える。
Next, the operation of the imaging apparatus will be described. The frame rate (set frame rate) set by the frame rate setting signal RSF is the sum of the frame rate (imaging frame rate FRp) of the imaging signal Spa generated by the
撮像信号Spaのフレームレートを可変する場合、駆動部25から撮像部12に供給する駆動制御信号DRによって、撮像素子での電荷蓄積期間や撮像電荷の読み出しタイミング等を制御することでフレームレートが可変された撮像信号Spaを得ることができる。さらに、CDR方式(Common Data Rate:共通サンプリング周波数方式)を用いるものとして、水平帰線期間あるいは垂直帰線期間の長さを調整して、撮像フレームレートFRpの可変処理を行うものとすれば、撮像フレームレートFRpを可変しても有効画面期間の画像サイズが変化しない撮像信号Spaを生成できる。また、CDR方式を用いることで、撮像フレームレートFRpを用いる各部の動作周波数を撮像フレームレートFRpに応じて可変する必要がなく、構成が簡単となる。
When the frame rate of the imaging signal Spa is varied, the frame rate is varied by controlling the charge accumulation period in the imaging element, the readout timing of the imaging charge, and the like by the drive control signal DR supplied from the driving
このCDR方式では、図3Aに示すように帰線期間と有効画面期間が設定された画像信号に対して、図3Bに示すように水平帰線期間の長さを調整したり、図3Cに示すように垂直帰線期間の長さを調整することで、有効画面期間の画像サイズを変化させることなく撮像フレームレートFRpを可変した撮像信号Spaを生成できる。なお、撮像フレームレートFRpを変える場合、1ラインのサンプル数を撮像フレームレートFRpに応じて切り替えれば、水平帰線期間の長さを調整した撮像信号Spaを生成できる。また、1フレームのライン数を撮像フレームレートFRpに応じて切り替えれば、垂直帰線期間の長さを調整した撮像信号Spaを生成できる。 In this CDR system, the length of the horizontal blanking period is adjusted as shown in FIG. 3B for the image signal in which the blanking period and the effective screen period are set as shown in FIG. 3A, or as shown in FIG. 3C. As described above, by adjusting the length of the vertical blanking period, it is possible to generate the imaging signal Spa in which the imaging frame rate FRp is varied without changing the image size of the effective screen period. Note that, when the imaging frame rate FRp is changed, the imaging signal Spa in which the length of the horizontal blanking period is adjusted can be generated by switching the number of samples in one line according to the imaging frame rate FRp. Further, if the number of lines in one frame is switched according to the imaging frame rate FRp, an imaging signal Spa in which the length of the vertical blanking period is adjusted can be generated.
図4は、撮像装置の動作を示す図である。図4Aは、フレームレート設定信号RSFで設定された設定フレームレートFRcを示している。ここで、設定フレームレートFRcが24Pから18Pに時点taで切り替えられたとき、パルス生成回路315からのタイミング信号PTによって、撮像フレームレートFRpの設定は、図4Bに示すようにフレーム加算期間の完了する時点tbで48Pから54Pに変更される。なお、図4Cは、図4Bの設定フレームレートFRcに基づいて決定されたフレーム加算期間を示している。
FIG. 4 is a diagram illustrating the operation of the imaging apparatus. FIG. 4A shows the set frame rate FRc set by the frame rate setting signal RSF. Here, when the set frame rate FRc is switched from 24P to 18P at the time point ta, the setting of the imaging frame rate FRp is completed by the timing signal PT from the
撮像部12では、設定された撮像フレームレートFRpで電荷の蓄積を行い、この蓄積された電荷に応じた信号を次のフレームで出力する。このため、図4Dに示すように、撮像信号Spaは、時点tbで設定された撮像フレームレートの信号が次のフレームである時点tcで出力される。
The
このように、撮像フレームレートFRpを設定したとき、この設定が次のフレームから反映させるため、画像信号DVbに対するフレーム加算期間は、図4Cのフレーム加算期間に対して1フレーム遅延したものとなり、この1フレーム遅延したフレーム加算期間を示す図4Eの信号をパルス生成回路315で生成して判別信号TMとして、プリプロセス部14に供給する。
In this way, when the imaging frame rate FRp is set, this setting is reflected from the next frame, so the frame addition period for the image signal DVb is one frame delayed from the frame addition period of FIG. 4C. The signal shown in FIG. 4E indicating the frame addition period delayed by one frame is generated by the
フレーム加算処理部15は、図4Eの判別信号TMで示されたフレーム加算期間の画像信号DVbを用いてフレーム加算を行う。このフレーム加算が行われた信号を所要の信号レベルとして読み出すことで、図4Fに示すように、フレームレート設定信号RSFで設定されたフレームレートの画像信号DVcを生成できる。なお、フレーム加算が行われた信号を所要の信号レベルとして、この信号を撮像装置に接続された機器に応じた出力フレームレート、例えば60Pのフレームレートで読み出すと、図4Gに示すように、フレームレート設定信号RSFでフレームレートを「24P」に設定したときには、60フレームの期間に24フレームの撮像画像の画像信号が含まれた信号CMoutとなる。また、出力フレームレートを18Pに設定したときには、60フレームの期間に18フレームの撮像画像の画像信号が含まれた信号CMoutとなる。
The frame
ここで、プリプロセス部14で行う信号処理動作の設定SEを、図4Hに示すように、時点tdで設定SE1から設定SE2に変更したとき、プリプロセス部14では、判別信号TMに基づいて、図4Iに示すように設定SE2での信号処理動作を、フレーム加算期間が終了する時点teから実施する。このため、フレーム加算の途中で信号処理動作の設定がSE1からSE2に変更されてしまうことがない。
Here, when the setting SE of the signal processing operation performed in the
同様に、時点tfで設定SE2から設定SE3に変更したとき、設定SE3での信号処理動作は、フレーム加算期間が終了する時点tgから実施されるので、フレーム加算の途中で信号処理動作の設定がSE1からSE2に変更されてしまうことがない。 Similarly, when the setting SE2 is changed to the setting SE3 at the time tf, the signal processing operation at the setting SE3 is performed from the time tg when the frame addition period ends, so that the setting of the signal processing operation is performed during the frame addition. There is no change from SE1 to SE2.
このように、信号処理動作の変更指示を行ったとき、この変更は、変更指示後のフレーム加算期間単位の画像信号から行われるので、変更前の画像信号と変更後の画像信号がフレーム加算されて、信号処理動作の変更が正しく反映されていない不自然な画像が生じてしまうことを確実に防止できる。また、プリプロセス部14で行うホワイトバランス調整が自動的に調整を行うように設定されているとき、オートホワイトバランス調整をフレーム加算期間単位で行うことができる。
As described above, when the change instruction of the signal processing operation is performed, since the change is performed from the image signal of the frame addition period unit after the change instruction, the frame of the image signal before the change and the image signal after the change is added. Thus, it is possible to reliably prevent an unnatural image that does not correctly reflect the change in the signal processing operation. Further, when the white balance adjustment performed by the
また、フォーカス・アイリス調整部28は、設定信号CTによって、フォーカス調整やアイリス調整をフレーム加算期間単位で行うかあるいはフレーム単位で行うか選択することが可能とされているので、最適な調整が行われるように撮像者が選択することができる。例えば、フレーム単位で行うように選択されている場合、フォーカス調整やアイリス調整を画像信号DVaに追従して行うことができないとき、フレーム加算期間単位で行うものとする。このとき、調整が実施される間隔が長くなり画像信号DVaに追従したフォーカス調整やアイリス調整を行うことが可能となる。また、フレーム加算期間単位で行うように選択されている場合、調整が実施される間隔が長すぎて、フォーカス調整やアイリス調整の応答性が遅いときには、フレーム単位で行うものとする。このとき、調整が実施される間隔が短くなりフォーカス調整やアイリス調整の応答性を良くすることが可能となる。また、フォーカス・アイリス調整部28は、フォーカス調整やアイリス調整を画像信号DVaに基づいて逐次行うことができるものであっても良い。
Further, the focus /
さらに、図示せずも判別信号TMを本線用信号処理部16やモニタ用信号処理部17に供給すれば、本線用信号処理部16やモニタ用信号処理部17の信号処理動作をフレーム加算期間単位で行うこともできる。
Further, if the discrimination signal TM is supplied to the main line
ところで、上述の実施の形態では、本線用信号処理部16とモニタ用信号処理部17で、異なる信号処理を行う場合を示したが、本線用信号処理部16とモニタ用信号処理部17で行う処理を等しくできる場合には、これらの処理をフレーム加算処理前に行うものとしても良い。この場合の構成を図5に示す。なお、図5において、図1と対応する部分については同一符号を付し、その詳細な説明は省略する。
By the way, in the above-mentioned embodiment, although the case where different signal processing is performed by the main line
プリプロセス部14で得られた画像信号DVbは、信号処理部20に供給される。信号処理部20は、本線用信号処理部16やモニタ用信号処理部17と同様に、γ補正やニー補正等の処理を行い、得られた画像信号DVb’をフレーム加算処理部15に供給する。フレーム加算処理部15は、画像信号DVb’を用いてフレーム加算を行い、得られた画像信号DVgは、信号出力部18,19に供給される。信号出力部18,19は画像信号DVgに基づき信号CMout,MToutを生成して出力する。
The image signal DVb obtained by the preprocessing
ここで、信号処理部20は、プリプロセス部14と同様に、動作設定部32からの設定信号CTによって信号処理動作の設定が変更されても、この変更を、フレーム加算期間が終了してから実施する。このため、変更前の設定でγ補正やニー補正等が行われた画像信号と変更後の設定でγ補正やニー補正等が行われた画像信号が加算されて、信号処理動作の変更が正しく反映されていない画像が生じてしまうことも確実に防止できる。
Here, as with the
さらに、撮像部12での電荷蓄積期間を調整して電子シャッター動作を行うものとした場合、判別信号によって示されたフレーム加算期間に対してシャッター開期間を連続して設定する。例えば、出力フレームレートを「20P」に設定したとき、図2から加算フレーム数FAが「3」で撮像フレームレートFRpは「60P」となる。このため、加算される3フレーム分の期間に対して、連続してシャッター開期間を図6に示すように設定する。なお、シャッター開期間は、連続していればフレーム加算期間内のいずれの位置に設けるものとしても良い。例えば図6Aに示すように、フレーム加算期間の開始からシャッター開期間を連続して設ける。また、図6Bに示すように、フレーム加算期間の終わりにシャッター開期間を連続して設ける。あるいは、図56に示すように、フレーム加算期間の途中にシャッター開期間を連続して設けるものとしても良い。
Further, when the electronic shutter operation is performed by adjusting the charge accumulation period in the
このように、フレーム加算期間内にシャッター開期間を連続して設けるものとすれば、偽輪郭が生じてしまうことを防止できる。すなわち、フレーム毎にシャッター開期間を設けてフレーム加算処理を行うと、フレーム毎にシャッター開期間を設けたことにより不連続とされた画像が加算されて偽輪郭が生じてしまう。しかし、フレーム加算期間内にシャッター開期間を連続して設けることにより、不連続とされた画像が加算されることがなく、偽輪郭の発生を防止できる。なお、メカニカルシャッターや光学的シャッターを用いてフレーム加算期間内に連続したシャッタ開期間を設ければ、電子シャッターの場合と同様に、偽輪郭のない撮像画像を得ることができる。 Thus, if the shutter open period is continuously provided within the frame addition period, it is possible to prevent the occurrence of false contours. In other words, when the frame addition process is performed with a shutter open period provided for each frame, images that are discontinuous due to the provision of the shutter open period for each frame are added, resulting in a false contour. However, by providing the shutter open period continuously within the frame addition period, the discontinuous images are not added, and the occurrence of false contours can be prevented. If a continuous shutter opening period is provided in the frame addition period using a mechanical shutter or an optical shutter, a captured image having no false contour can be obtained as in the case of the electronic shutter.
ところで、上述の実施の形態では、プリプロセス部14や信号処理部20で行う信号処理動作の設定を変更したとき、この変更を、判別信号TMに基づきフレーム加算期間が終了してから行うものとしたが、プリプロセス部14や信号処理部20で行う信号処理動作の設定を動作設定部32から変更する際に、変更指示をフレーム加算期間の開始時あるいは終了時に設定することで、信号処理動作の変更が正しく反映されていない画像が生じてしまうことを防止することもできる。この場合、プリプロセス部14や信号処理部20に判別信号TMを供給して、変更の実施タイミングを制御する必要がない。またフレーム加算期間の開始時に変更指示を行うものとすれば、変更された信号処理動作を行って得られた画像信号のフレーム加算を行うことができるとともに、終了時に変更指示を行うものとすれば、次にフレーム加算を行う画像信号に対して変更された信号処理動作を行うことができる。
By the way, in the above-described embodiment, when the setting of the signal processing operation performed by the preprocessing
ここで、変更指示の際に動作設定部32からプリプロセス部14や信号処理部20に供給する情報量が多いときには、情報の伝送中にフレーム加算期間が開始されてしまうことがある。このような場合、変更内容をプリプロセス部14や信号処理部20に供給しておき、判別信号TMに基づきフレーム加算期間が終了してから変更を実施することで、信号処理動作の変更が正しく反映されていない画像が生じてしまうことを確実に防止できる。
Here, when there is a large amount of information to be supplied from the
以上のように、本発明に係る撮像装置は、撮影画像の画像信号に対して信号処理を施してからフレーム加算を行い、画像信号のフレームレートを可変して撮像を行う場合に好適である。 As described above, the imaging apparatus according to the present invention is suitable for performing imaging by performing frame addition after performing signal processing on an image signal of a captured image, and varying the frame rate of the image signal.
10・・・撮像装置、11・・・撮像レンズ部、12・・・撮像部、13・・・プリアンプ部、14・・・プリプロセス部、15・・・フレーム加算処理部、16・・・本線用信号処理部、17・・・モニタ用信号処理部、18,19・・・信号出力部、20・・・信号処理部、25・・・駆動部、28・・・フォーカス・アイリス調整部、30・・・制御部、31・・・信号生成部、32・・・動作設定部、40・・・ユーザインタフェース部、311・・・同期分離回路、312・・・内部同期信号発生回路、313・・・位相比較回路、314・・・電圧制御発振器、315・・・パルス生成回路
DESCRIPTION OF
Claims (9)
所定の加算フレーム数によって定まるフレーム加算期間単位で該画像信号のフレーム加算を行って可変フレームレート画像を生成するフレーム加算手段と、
前記撮像手段の電荷蓄積時間を調整するシャッターの開期間をフレーム加算期間に対して連続させ、前記撮像手段から前記画像信号の読み出しを制御して、前記画像信号のフレームレートを可変させると共に、前記フレーム加算手段に前記フレーム加算を行わせ、前記撮像手段によって生成される前記画像信号の可変フレームレートと、前記フレーム加算手段による前記加算フレーム数と、を切り換えて、前記フレーム加算手段に連続して前記可変フレームレート画像を生成する制御手段と、
を備える撮像装置。 Imaging means for imaging a subject and generating an image signal;
Frame addition means for generating a variable frame rate image by performing frame addition of the image signal in a frame addition period unit determined by a predetermined number of addition frames ;
The shutter opening period for adjusting the charge accumulation time of the imaging means is made continuous with respect to the frame addition period, the readout of the image signal from the imaging means is controlled to vary the frame rate of the image signal, and The frame addition means performs the frame addition, and switches between the variable frame rate of the image signal generated by the imaging means and the number of frames added by the frame addition means, and continuously to the frame addition means. Control means for generating the variable frame rate image ;
Ru an image pickup device.
請求項1記載の撮像装置。The imaging device according to claim 1.
前記フレーム加算手段は、該信号処理手段で信号処理動作を行うことにより得られた画像信号を用いて前記フレーム加算を行うものとし、
前記制御手段は、前記信号処理手段の動作の制御を行い、該信号処理手段の動作の制御をフレーム加算期間単位で行う
請求項1又は2記載の撮像装置。 Providing a signal processing means for performing a signal processing operation using the image signal generated by the imaging means;
The frame addition means performs the frame addition using an image signal obtained by performing a signal processing operation in the signal processing means;
Wherein, prior SL signal processing and controls the operation of the unit, the imaging apparatus according to claim 1 or 2, wherein controlling the operation of the signal processing means with the frame addition period unit.
前記信号処理手段は、前記制御手段によって信号処理動作の変更指示がなされたとき、前記判別信号に基づき、該変更指示後のフレーム加算期間単位の画像信号から前記変更指示を実施する
請求項3記載の撮像装置。 The control means includes signal generation means for generating a determination signal indicating a frame addition period,
When the signal processing operation is instructed to be changed by the control means, the signal processing means implements the change instruction from an image signal in a frame addition period unit after the change instruction based on the determination signal.
請 Motomeko 3 imaging device according.
請求項4記載の撮像装置。 The control means instructs the signal processing means to change the signal processing operation at the start or end of the frame addition period.
請 Motomeko 4 imaging device according.
請求項3〜5のいずれか1項に記載の撮像装置。 The signal processing operation includes at least white balance adjustment, gain correction, and white shading correction.
The imaging apparatus according to any one of 請 Motomeko 3-5.
を備える請求項1〜6のいずれか1項に記載の撮像装置。 Adjustment means for performing adjustment for optimizing imaging of the imaging means in units of the frame addition period or in units of frames
The imaging apparatus according to any one of claims 1 to 6, Ru comprising a.
請求項7記載の撮像装置。 Before Sulfur butterfly integer means performs one or more of the focus adjustment and iris adjustment and white balance adjustment
Imaging device 請 Motomeko 7 wherein.
請求項1〜4のいずれか1項に記載の撮像装置。 The shutter is an electronic shutter, a mechanical shutter, or an optical shutter.
The imaging apparatus according to any one of 請 Motomeko 1-4.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007220237A JP4458132B2 (en) | 2007-08-27 | 2007-08-27 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007220237A JP4458132B2 (en) | 2007-08-27 | 2007-08-27 | Imaging device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003276804A Division JP4193628B2 (en) | 2003-07-18 | 2003-07-18 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007336599A JP2007336599A (en) | 2007-12-27 |
JP4458132B2 true JP4458132B2 (en) | 2010-04-28 |
Family
ID=38935539
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007220237A Expired - Fee Related JP4458132B2 (en) | 2007-08-27 | 2007-08-27 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4458132B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5959194B2 (en) | 2011-12-27 | 2016-08-02 | オリンパス株式会社 | Imaging device |
JP5820720B2 (en) | 2011-12-27 | 2015-11-24 | オリンパス株式会社 | Imaging device |
US10033936B2 (en) | 2014-03-31 | 2018-07-24 | Sony Corporation | Control apparatus, control method, and imaging apparatus |
-
2007
- 2007-08-27 JP JP2007220237A patent/JP4458132B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007336599A (en) | 2007-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3731589B2 (en) | Imaging device and synchronization signal generator | |
US9167163B2 (en) | Digital image processing apparatus that displays first content, generates second content based on an input signal, and generates third content related to the second content, and method of controlling the same | |
JP3729189B2 (en) | Imaging device | |
KR101222727B1 (en) | Image pickup device | |
JP4193628B2 (en) | Imaging device | |
JP6402934B2 (en) | MOVIE GENERATION DEVICE, MOVIE GENERATION METHOD, AND PROGRAM | |
JP4518757B2 (en) | Imaging device | |
JP2009004885A (en) | Image processing apparatus, image processing method, and program | |
JP2010074323A (en) | Recording apparatus and method, and recording and playback apparatus and method | |
JP4458132B2 (en) | Imaging device | |
JP4007276B2 (en) | Imaging device and control device thereof | |
JP2008033930A (en) | Picture reproducer | |
JP5273895B2 (en) | Imaging device and lens device | |
JP4547877B2 (en) | Imaging device | |
JP4423484B2 (en) | IMAGING DEVICE, ITS CONTROL DEVICE, AND IMAGING SYSTEM | |
JP5249078B2 (en) | Imaging device | |
JP2007306199A (en) | Imaging apparatus, and image processing program | |
JP4420028B2 (en) | Imaging device, control device, imaging system, and image signal generation device | |
JP4363446B2 (en) | Imaging apparatus, imaging system, and image generation apparatus | |
JP5715179B2 (en) | Reproduction display device and reproduction display method | |
JP2013162187A (en) | Image recording and reproducing apparatus | |
JP2010193314A (en) | Imaging device and communication system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20090910 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091013 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20091109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100119 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100201 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130219 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |