JPH02280585A - Image pickup device - Google Patents

Image pickup device

Info

Publication number
JPH02280585A
JPH02280585A JP1101918A JP10191889A JPH02280585A JP H02280585 A JPH02280585 A JP H02280585A JP 1101918 A JP1101918 A JP 1101918A JP 10191889 A JP10191889 A JP 10191889A JP H02280585 A JPH02280585 A JP H02280585A
Authority
JP
Japan
Prior art keywords
signal
video signal
data
correction
readout
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP1101918A
Other languages
Japanese (ja)
Other versions
JP2804782B2 (en
Inventor
Takayuki Kijima
貴行 木島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP1101918A priority Critical patent/JP2804782B2/en
Publication of JPH02280585A publication Critical patent/JPH02280585A/en
Application granted granted Critical
Publication of JP2804782B2 publication Critical patent/JP2804782B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PURPOSE:To expand the dynamic range of an image pickup element by dividing a video signal by one pattern for exposure period of one pickup into two, reading the signal separately for the first and latter halves, applying base clip to the signal of the absolute value of the difference, adding the result and using it as a signal correction and outputting after subtraction correction. CONSTITUTION:A system controller 13 outputs a readout pulse respectively at the point of time when a time being a half the exposure time elapses and at the end of the exposure time. A difference extraction circuit 14a receives a data (a) being a 2nd readout output video signal and a data (b) being a 1st readout output video signal to obtain the difference of the both and to obtain its absolute value. Thus, a picture data corresponding to a blur is obtained and the result is given to a clip level processing section 14 to eliminate the portion of the signal below a prescribed value. Then the data L1 clipped by the clip level processing section 14 is given to an adder circuit 14c as a negative data and the data is added to an output from an adder circuit 10. Thus, deviation signals are almost eliminated to prevent blur.

Description

【発明の詳細な説明】 【産業上の利用分野] 本発明は例えば、スチルビデオカメラシステムに係わり
、特に固体撮像素子のダイナミックレンジの拡大を図っ
た撮像装置に関する。 【従来の技術] 近年、フロッピディスクと同じ構造のスチルビデオディ
スクを記録媒体として用いるスチルビデオカメラ(電子
スチルカメラ)が出現している。 そして、このカメラにおいては例えば、画像再生用プロ
セッサを電気的機械的に着脱自在な構成とし、カメラ単
体で携帯して撮影した像をカメラ内蔵のスチルビデオデ
ィスクに録画するとともに、当該カメラを画像再生用プ
ロセッサに接続してスチルビデオディスクの録画像を再
生し、表示或いはハードコピーとして得て画像鑑賞する
ことが出来るようにしている。 ところで、このようなスチルビデオカメラにおいては、
画像を撮像するイメージング索子としてCCD (固体
撮像素子)などの撮像素子を使用する。 このような撮像素子においては第9図に示すように、そ
の撮像素子の持つ所定の飽和レベルLSがあり、スチル
ビデオカメラにおいては、光の蓄積はテレビの水平走査
期間LH内で最大LSであり、このLSが飽和レベルと
なる。従って、このil1期間内に飽和レベルLSを超
える光11Lsの光入射に対しては出力が飽和してしま
う。このような場合、ダイナミックレンジを拡大する方
法として従来より撮像素子の蓄積電荷を2回読出し、加
算して1画像分の映像信号を得る方法がある。 しかしながら、この方法はシャッタ速度を倍にし、一画
面を2回の撮影すなわち、連続して2回にわたり、撮影
し、その撮像毎の映像出力を加算合成して得るようにす
るものである。すなわち、第1O図に示すように111
回目シャッタ操作により撮影した第1読出出力映像信号
と第2回目のシャッタ操作により撮影した第2読出出力
映像信号とを加算すると共に、それぞれのシャッタ操作
による撮影時間は通常の露光時間の半分とし、それぞれ
の撮影時間における入射光量が飽和レベルLSを超えな
い時間とすることにより加算後の映像信号が本来のレベ
ルになるようにして飽和レベルLSの影響を除くように
したものである。 [発明が解決しようとする課8] このように撮像素子は入射光量に対する飽和レベルがあ
り、この飽和レベルを超える光量に対しては飽和してし
まうので解像度が悪くなる。そこで、この飽和の影響を
除くために一画像を2回のシャッタ操作にて2回撮影す
ることにより、それぞれの映像信号を得、両者を加算し
て一画像を得る方式が従来よりある。しかし、スチルビ
デオカメラは撮影像をテレビ画像として再生して鑑賞で
きるようにするために、テレビの同期信号に同期させて
一連のシーケンスが実施されるようになっている。そし
て、NTSC方式の場合、垂直同期はフィールド順次方
式の場合、1フイールドがl/60秒であり、従って、
読出し時間も1フィールド当り最大で一回となっている
。この場合、上述したダイナミックレンジ拡大方式を採
用すると2回の撮影を行って一枚の画像を得ることから
、2回目の撮影は1回目の撮影より1/80秒は遅れる
ことになる。この遅れは静止物や動きの遅い被写体を撮
影するには問題がないが、動きの早い被写体を撮影する
時には垂大な問題を引き起こす。 例えば、シャッタ速度が11500とかl /1000
とかのような早い速度に合わせないと画がぶれるような
場合を想定すれば良くわかるように、上記シャッタ速度
の半分の露光時間で2回シャッタを切っても、両者の間
には1780秒のずれが避けられず、従って、1回目と
2回目の像は大きなずれを生じてしまう。そして、この
二画像を加算すると両者のずれから、ぶれの大きい画像
となってしまい、結局、動、きのある被写体を撮影しよ
うとすると鮮明な写真は撮れないことになる。 そこでこの発明の目的とするところは、撮像素子のダイ
ナミックレンジを拡大できると共に、動きの速い被写体
でも鮮明な画像を得ることができるようにしたスチル・
ビデオカメラ等に適用して最適な撮像装置を提供するこ
とにある。 【課題を解決するための手段】 上記目的を達成するため、本発明は次のような手段を講
じた。すなわち、撮像素子における同一画素の出力信号
を少なくとも2回読出してそれらを加算し、1画面分の
映像信号を得るものにおいて、第1には上記1画面分の
映像信号は1撮影の露光期間を2分割して前・後半それ
ぞれ別に読出し制御する手段と、これら読出された信号
の差をとり、その差分の絶対値の信号をベースクリップ
して上記加算した信号の補正量とし、減算補正して出力
する補正手段とを備えて構成する。また、第2には補正
手段は前記読出し制御手段より読出理する構成とする。 さらに第3には前記補正手段は前記読出された2つの信
号を入射光量情報または撮影レンズの焦点距離情報に応
じて加算するか否かを選択して加算補正する構成とする
。 〔作 用] このような手段を講じたことにより、次のような作用を
呈する。すなわち、撮像索子における同一画素の出力信
号を少、なくとも2回読出してそれらを加算し、1画面
分の映像信号を得ることにより、撮像素子のダイナミッ
クレンジを拡大するが、本発明は読出し制御手段により
、上記xiii面分の映像信号は1撮影の露光期間を2
分割して前・後半それぞれ別に読出し、2つの映像信号
のかたちで得る。そして、2つの像の間にずれがあった
場合の加算合成後のぶれを除去すべく、補正手段により
補正を加えるが、この補正は第1の発明の場合、これら
読出された信号の差をとり、その差分の絶対値の信号を
ベースクリップして上記加算した信号の補正量とし、減
算補正して出力するようにす−る。・これにより、ずれ
相当部分は威算補正により除去され、ずれのない部分の
みが合成されることになる。従って、撮像素子のダイナ
ミックレンジを拡大することができ、しかも、像のずれ
によるぶれ発生も抑制できる。 また、第2の発明の場合は前記補正手段は前記読出し制
御手段から読出された2つの信号より被写体の動きを検
出し、動きが一定値以下のときは一 読み出され信号を加算処理するようにし、動きが一定値
以上のときは加算処理せずに2回読出してそれぞれ得た
前記映像信号のうち、一方を2倍に語幅して出力する。 これにより、第2の発明の場合は動きが一定値以下のと
きはそのまま加算合成し、動きが一定値以上のときは加
算処理せずに前記映像信号のうち、片方を2倍に増幅し
て出力すると云う簡単な補正操作のみで撮像素子のダイ
ナミックレンジを拡大することができ、しかも、像のず
れによるぶれ発生も抑制できる。 また、第3の発明の場合は前記補正手段は前記読出され
た2つの信号を入射光量情報または撮影レンズの焦点距
離情報に応じて加算するか否かを選択して加算補正する
ようにする。すなわち、露出時間あるいは焦点距離が長
い場合には、2つの映像信号はずれが発生する可能性が
高いので、この場合は加算補正せず、2回読出してそれ
ぞれ得た前記映像信号のうち、一方を2倍に増幅して出
力し、それ以外では2つの映像信号を加算する。 これにより、簡単な操作のみで撮像素子のダイナミック
レンジを拡大することができ、しかも、像のずれによる
ぶれ発生も抑制できる。 従って、本発明によれば、撮像素子のダイナミックレン
ジを拡大できると共に、動きの速い被写体でも鮮明な画
像を得ることができてスチル・ビデオカメラ等に適用し
て最適な撮像装置を提供することが出来る。 [実施例] 以下、図面を参照して本発明の一実施例を説明する。 ここで以下説明する本装置の前提となる技術に触れてお
くと、対象とするものはスチルビデオカメラ・であり、
撮像素子からの画像信号を変調し、増幅して磁気記録媒
体に与え、磁気記録するものである。撮像素子からの読
出しはテレビ映像として再生できるようにするために、
フィールド順次の場合の1フイールドの時間であるl/
60秒毎の垂直同期信号VDに同期させである。そして
、磁気記録媒体としてスチルビデオディスクを利用する
ようにしているため、磁気記録媒体の駆動系も同様であ
る。磁気記録媒体は、可撓性のある薄い円形のプラスチ
ックフィルムをベースとする磁気ディスクの磁性面上に
、ヘッドアクセス機構によって径方向に移動する記録再
生用磁気ヘッドにより同心円状に画像情報を記録される
ようにしており、スチルビデオカメラでは画像情報を記
録する場合には、この同心円状の記録トラックが例えば
、最大50本、等間隔に形成されて各々のトラックに一
コマ分ずつ、フィールド画像が記録される。そして、1
トラック当り一コマ分、フィールド画像を記録する関係
から、磁気記録媒体の駆動系は1780秒で磁気記録媒
体を1回転させ、この1回転毎にパルスを発生させ、該
パルスを垂直同期信号VD対応の同期パルスとして利用
する。 シャッタボタンであるカメラのトリガボタンは2段スイ
ッチとなっており、トリガボタンを押すと、まず、第1
段目が作動し、これにより測光系が機能すると共に磁気
記録媒体のドライブが回転し、測光系およびAP(オー
トフォーカス)系が被写体の露出と距離を測定し、この
測定結果により、システムコントローラが露出およびシ
ャッタ速度を決定し、露出およびシャッタ速度の設定と
オートフォーカスの設定制御を行った後、第2段目で前
記同期パルスに同期してシャッタを駆動し、露光を行っ
て撮像し、撮像素子から映像信号を読出して変31後、
磁気記録媒体のドライブにこの変調信号を送ってその磁
気ヘッドに与え、記録トラックに記録するものとする。 再生は磁気ヘッドにて記録トラックの記録信号を読出し
、復調して、ドロップアウト補償並びにスキニー歪の補
正などと云った所定のプロセス処理を行い、同期信号を
付加して出力し、テレビモニタなどに与えて画像として
表示、させたり、ビデオプリンタなとでハードコピーと
して打ち出す。 本発明装置はこのようなスチルビデオカメラシステムに
おいて、撮像・記録系の構成を第1図に示す如く構成し
たものである。すなわち、lはカメラのレンズ、2は絞
り、3はシャッタ、4はハーフミラ−15は固体撮像素
子、6はA/D変換器、7は切り替えスイッチ、8は駆
動制御信号発生部、9はフィールドメモリ、IOは加算
回路、11は反射用のミラー、12は測光部、13はシ
ステムコントローラ、14は信号補正部である。 レンズlと、絞り2、シャッタ3、ハーフミラ−4、ミ
ラー11は光学系を構成しており、被写体の光学像はレ
ンズlを通り、ハーフミラ−4により分配さ゛れて固体
撮像素子5とミラー11に導かれる。ミラー11に入射
された分配光は測光部12に導かれる構成としである。 上記測光1112は分配光より露出光量を検知するとと
もに被写体像の測距を行い、上記システムコントローラ
13はこの測距データや露出光量のデータを受けてシャ
ッタ速度がマニュアル設定ならば露出光量のデータを基
に絞り値の決定を行い、また、絞り値がマニュアル設定
ならば露出光量のデータを基にシャッタ速度の決定を行
い、絞り駆動機構へその絞り値の設定信号を与えて設定
し、また、測距データを基に固体撮像素子5の受光面に
被写体像がフォーカスするようにレンズlの駆動機構に
制御信号を与えてフォーカス制御するようにしである。 尚、シャッタ速度はシャッタの駆動指令を与えてからの
経過時間がそのシャッタ速度設定時間対応分に達した段
階で駆動指令を停止することにより、設定時間対応のシ
ャッタ速度を得る。 前記システムコントローラ13はカメラ全体の制御の中
枢を司るものであり、また、前記固体撮像素子5は例え
ば、CODを使用していて、シャッタ速度で定まる露光
時間の半分の時間を経過した時点および露光時間終了時
点でそれぞれ蓄積電向を読出すように制御される。この
読出し制御はCCDの読出し駆動のための同期信号を発
生する前記駆動制御信号発生部(SSG ;シンクシグ
ナルジェネレータ)Jlにより行われるが、この駆動制
御信号発生部8の制御は前記システムコントローラ13
により行われる。すなわち、システムコントローラ13
はシャブタ駆動開始後、シャッタ速度で定まる露光時間
の半分の時間を経過した時点および露光時間終了時点で
それぞれ読出しパルスを出力し、この読出しパルスを受
けると駆動制御信号発生部8はCODの読出し駆動のた
めの同期パルスを発生する。また、駆動制御信号発生部
8はトリガボタンが操作された時点で前記システムコン
トローラ13からの指令により、CODの不要電荷放出
制御を行う処理を実施し、また、電子シャッタ解放駆動
制御が実施されてから最大で2フイールドの期間、CO
Dを露光可能な状態に置くように制御するものとする。 ′また、メカシャッタを有し、これはトリガボタンが操
作されて後、電子シャッタの開いた時間が露光時間に達
するまで開放制御される。 前記A/D変換器0は固体撮像素子5の読出し映像信号
をディジタル信号に変換するものであり、切り替えスイ
ッチ7は前記読出し映像信号を加算回路10とフィール
ドメモリ9のうちの一方に与えるための経路切り替えを
行うためのものである。 フィールドメモリ9は1フイ一ルド分の容量を持つメモ
リであり、撮影毎に固体撮像素子5から2回に亙って読
み出される画像信号のうち、第1読出出力映像信号を記
憶するためのものであり、従って、切り替えスイッチ7
は第1読出出力映像信号をフィールドメモリ9に与え、
第2読出出力映像信号を加算回路10に与えるように切
り替えられ、また、第2読出出力映像信号の出力タイミ
ング時には該第2読出出力映像信号と同期してフィール
ドメモリ9より第1読出出力映像信号を読出して加算回
路!0に与えるべく$制御するようシステムコントロー
ラ13は構成しである。 固体撮像素子5からの第1回目の映像信号の読出しは露
光時間の半分の時間が経過した時点で出力される読出し
パルスによるが、この読出しパルスによりCODによる
固体撮像素子5は垂直転送路に現在の蓄積電荷を転送し
、第2回目の映像信号の読出しは露光時間終了以後に行
われる。すなわち、COD、は第3図に示すように基盤
の目のように構成された画素となるセルCLに入射光量
に対応した電荷が蓄積され、読出し制御を行うと同一列
のセルCL群毎に対して設けられた垂直転送路VTに電
荷を転送し、出力制御によりこの垂直転送路VTの電荷
を外部に出力すると云った構成になっている。 そして、垂直転送路VTの電荷の外部への出力はテレビ
系に同期させるため、垂直転送路VTへの転送後の最初
の垂直同期パルスの発生時点とし、この時点からの1垂
直期間(1フイールドの期間)とし、該1垂直期間経過
時点での垂直同期パルス発生タイミングにてCODから
の第2回目の垂直転送路VTへの電荷転送を行い、引き
続いてこの時点から1垂直期間に亙り、垂直転送路VT
の電荷を外部に出力すると云った制御をシステムコント
ローラ13は実施するようにしである。また、本システ
ムでは固体撮像素子5からの第1回目の映像信号の読出
しは露光時間の半分の時間が経過した時点であるが、露
光時間はその後も残り半分あるので、その間にも電荷の
蓄積が続き、従って、第2回目の電荷の読出しが可能に
なる。 上記信号補正部14は加算回路lOから出力される信号
について、動きのある像の場合のずれを補正するための
処理回路であり、ずれの補正済みの映像信号について後
段のプロセス処理部へ送り、映像信号としての必要なプ
ロセス処理を施すようにする。そして、変調後、記録媒
体に記録する構成である。 次に上記構成の本装置の作用を第2図を参照して説明す
る。 カメラのトリガボタンを押すと、トリガボタンの動作1
段目でメカシャッタが開き、被写体の光学像はレンズ1
を通り、ハーフミラ−4により分配されて固体撮像素子
5とミラー11に導かれる。 そして、ミラー11に入射された分配光は測光部12に
導かれる。上記測光部I2は分配光より露出光量を検知
するとともに被写体像の測距を行い、上記システムコン
トローラ13はこの測距データや露出光量のデータを受
けてシャッタ速度がマニュアル設定ならば露出光量のデ
ータを基に絞り値の決定を行い1、また、絞り値がマニ
ュアル設定ならば露出光量のデータを基にシャッタ速度
の決定を行い、絞り駆動機構へその絞り値の設定信号を
与えて設定し、また、測距データを基に固体撮像索子5
の受光面に被写体像がフォーカスするようにレンズ令を
与えてからの経過時間がシャッタ速度設定時間対応分に
達した段階でメカシャッタを閉じるように駆動指令を与
えることにより、設定時間対応のシャッタ速度を得る(
第2図(b) 、 (c))。 、一方、前記固体撮像素子5は例えば、CODを使用し
ていて、シャッタ速度で定まる露光時間の半分の時間を
経過した時点および露光時間終了時点でそれぞれ#&積
重電荷読出すように制御される。 この読出し制御はCODの読出し駆動のための同期信号
を発生する前記駆動制御信号発生部8により行われるが
、この駆動制御信号発生部8の制御は前記システムコン
トローラ13により行われる。すなわち、システムコン
トローラ13はシャッタ駆動開始後、シャッタ速度で定
まる露光時間の半分の時間を経過した時点および露光時
間終了時点でそれぞれ読出しパルスを出力しく第2図(
d))、この読出しパルスを受けると駆動制御信号発生
部8°はCCDの読出し駆動のための同期信号を発生す
る。 また、駆動1tす御信号発生部8はトリガボタンが操作
された時点で前記システムコントローラ13からの指令
により、CODの不要電荷放出制御を行う処理を実施し
、また、シャッタ解放駆動制御が実施されてから最大で
2フイールドの期間、CODを露光可能な状態に置くよ
うに制御する。固体撮像素子5の読出し映像信号は前;
己^/D変換器Bによりディジタル信号に変換され、こ
のディジタル信号化された読出し映像信号は切り替えス
イッチ7により前記加算回路lOとフィールドメモリ9
のうちの一方に与える。フィールドメモリ9は1フイ一
ルド分の容量を持つメモリであり、撮影毎に固体撮像素
子5から2回に亙って読み出される画像信号のうち、第
1読出出力映像信号を記憶する。従って、切り替えスイ
ッチ7はシステムコントローラ13によ、す、第1読出
出力映像信号をフィールドメモリ9に与え、第2続出出
力映像信号を加算回路lOに与えるように切り替え制御
され、また、第2読出出力映像信号の出力タイミング時
には該第2読出出力映像信号と同期してフィールドメモ
リ9より第1読出出力映像信号を読出して加算回路10
に与えるべく制御される。 第2図(d)に示すように、固体撮像素子5からの第1
回目の映像信号の読出しは露光時間の半分の時間が経過
した時点で出力される読出しパルスによるが、この読出
しパルスによりCODによる固体撮像素子5は垂直転送
路に現在の蓄積電荷を転送し、第2回目の映像信号の読
出しは露光時間終了以後に行われる。すなわち、COD
は第3図に示すように基盤の目のように構成された画素
となるセルCLに入射光量に対応した電荷が蓄積され、
読出し制御を行うと同一列のセルCL群毎に対して設け
られた垂直転送路VTに電荷を転送し、出力制御により
この垂直転送路VTの電荷を外部に出力すると云った構
成になっている。そして、垂直転送路VTの電荷を外部
への出力はテレビ系に同期させるため、第2図(e)に
示すように垂直転送路VTへの転送後の最初の垂直同期
パルスの発生時点とし、この時点からの1垂直期間(1
フイールドの期間)とし、該1垂直期間経過時点での垂
直同期パルス発生タイミングにてCCDからの第2回目
の垂直転送路VTへの電荷転送を行い、引き続いてこの
時点から1垂直期間に亙り、垂直転送路VTの電荷を外
部に出力すると云った・制御をシステムコントローラ1
3は実施する。また、本システムでは固体撮像素子5か
らの第1回目の映像信号の読出しは露光時間の半分の時
間が経過した時点であるが、露光時間はその後も残り半
分あるので、その間にも電荷の蓄積が続き、従って、第
2回目の電荷の読出しが可能になる。 第1図では省略されているが、スイッチ7から加算回路
10へ送られる信号およびフィールドメモリ9からの読
出し信号は信号補正部14に与えられ、該信号補正部1
4は両信号について、動きのある像か否かを両信号のず
れ等から調べ、動きのある像の場合に、は、そのずれを
除去すべく加算回路lOから出力される信号を補正する
。そして、上記信号補正部14を通った映像信号は後段
のプロセス処理部へ送られ、映像信号としての必要な、
プロセス処理を施し、変調して後、記録媒体に記録する
。 ここで、上記信号補正部14の構成例を第4図に示す。 図に示すように信号補正部14は切り替えスイッチ7か
ら加算回路IOへ送られる映像信号データaとフィール
ドメモリ9からの読出し映像信号データbとの差の絶対
値データを得る差分抽出回路14aと、この差分抽出回
路14aの出力する映像信号データaおよびbの差の絶
対値のデータのうち、所定値以下の部分をカットするク
リップレベル処理部14b1このクリップレベル処理部
1411の出力を前記加算回路10の出力から減算する
加算回路14cとより構成したものである。 このような回路の動作を第5図を参照して説明すると、
差分抽出回路14aは切り替えスイッチ7から加算回路
lOへ送られる第2読出出力映像信号のデータa(第5
図(a))と、フィールドメモリ9からの読出し出力で
ある第1読出出力映像信号のデータb(第5図(b))
とを受けて、両者の差(第5図(d))を得、次にその
絶対値データを得る(°第5図(0))。動きがある被
写体の場合、両データa。 bに差が生じ、単に両者を加算合成すると第5図(e)
のように画像の移動した分Sだけ、段差が生じ、これが
画像のぶれとなって表れてしまうことになる。そこで、
このぶれを除去すべく、上述のように両データa、bの
差(第5図(d))を得、次にその絶対値データを得る
(第5図(e))ことにより、ぶれ相当の画像データを
得、これをクリップレベル処理部14bを通すすことに
より、所定値以下の部分をカットする。これはデータa
、bはもともと、時間的にずれを持つ像であり、同一画
素部分でも輝度レベルに差が生じるのは避けられないの
で、僅かなレベル差までも全て除去するとディジタル処
理であるだけに、かえって像が不自然になる心配がある
ためで、そのため、不感帯として所定のスレシュホール
ドレベルであるクリップレベルLV(−L2)を設定し
、このレベル以下の部分をカットすることでこれを避け
るようにしている。 そして、クリップレベル処理部14によりクリップした
データをLlを負のデータとして加算回路14cに与え
、ここで前記加算回路lOからの出力(データa、bの
加算値)(第5図(C))と加算することにより補正す
る。データa、b間に動きがあれば、単純に両者を加算
するとずれのあった部分が露わになるが、上述の補正を
加えるとこのずれの分が略、削除され(第5図(r))
、ぶれを防止できることになる。もちろん、ずれのデー
タのうち、クリップレベル分以上のものについては、ク
リップレベル分以下のレベルのずれデータが残ることに
なるが、これは小さいので問題はない。 第6図は信号補正部14の別の実施例である。この例は
撮像素子のセル即ち、画素対応に第1および第2の読出
し出力映像信号a、bを比較することにより、被写体デ
ータ動きを検知し、動きのない場合にのみ、両映像信号
データa、bを加算し、動きのある場合ずれのある部分
の領域の輝度変化が滑らかとなるようにした補正を施し
て加算合成するものである。この場合、今までの実施例
で使用していた加算回路lOは不要であり、信号補正部
14は切り替えスイッチ7から送られる映像信号゛デー
タaとデータaに同期したフィールドメモリ9からの読
出し映像信号データbとを画素対応に受は取って両者の
データ値の差の有無を検知すると共に、動きaりとして
検知した場合に補正を行うよう係数値Kを出力する動き
検出部141と、この動き検出部141の出力係数値を
受けて当該係数値に、2−に倍対応のデータ補正する第
1および第2の補正回路142.143と、これらの補
正回路142゜143のうち、補正回路142を介して
得た第2の読出し出力映像信号データaと、補正回路1
43を介して得た第1の読出し出力映像信号データbと
を加算合成して出力する加算回路144とより構成する
ものである。 このような回路は切り替えスイッチ7から入力される第
2);を出力映像信号のデータaと、フィールドメモリ
9からの読出し出力である第1続出出力映像信号のデー
タbとを画素対応に受けて、動き・検出部141は両者
の差を検知し、差があれば動きがあると判断する。そし
て、動き検出部141は動きがあると判断した場合は補
正を行うような係数値にを発生し、補正回路142.1
43に与える。 例えば、第7図に示すように、画素PI−PGの輝度が
変化しているものとすると、画素P1〜P3では輝度変
化がないので、係数値Kを「1」とし、従って、2−に
も「1」となり、画素P4の位置で初めて画素変化あり
と判断するが、速度的にも対応できないのでこの時点で
は未だ係数値には「1」とする。そして、画素P5の時
点でP4から画素変化ありと判断し、この場合、連続し
て変化ありとなるので、ここで初めて係数値Kをrl/
2Jだけ変化させる。従って、図の例では係数値にはr
l (1/2) Jとなり、係数値2−にはrl/2J
となる。更にP5の時点でも変化ありと判断するので、
P6の時点でK 、 2−にとも更に「l12」変化さ
せ、係数値Kを「2」、係数値2−Kを「0」とする。 これを乗率としてその時々の入力データa、bにこの乗
率を掛け、その結果を加算回路144で加算して出力す
るというものである。上記係数値は上記の例に限るもの
ではないが、要は画素を比較して変化があれば、滑らか
に輝度が変化するようにデータを補正するように処理す
る。上記の例ではデータaが輝度大となった場合である
が、データaの輝度がデータbと等しくなった場合はそ
の時点から土工ごと逆に係数値Kを「2」からrl (
1/2) J、「1」と変化させ、係数値2−には「0
」からrl12J、「1」と変化させる。これにより、
ずれ部分の輝度が滑らかに変化することになる。 ところで、露出時間あるいはレンズの焦点距離が長い場
合には、2つの映像信号はずれが発生する可能性が高い
ので、この場合に対処する例を次に示す。システムコン
トローラ13はカメラのオート−フォーカスや露出制御
を行っているので、システムコントローラ13に露出時
間あるいは焦点距離に応じて第8図に示す切り替えスイ
ッチ7を制御する。切り替えスイッチ7は三方向のいず
れか1つを選択する構成とし、前記信号蒲正部14とし
て6dBの増幅率の増幅器15を設ける。そして、露出
時間あるいは焦点距離が短い場合は第1読出し出力映像
信号をフィールドメモリ9に記憶し、第2読出し出力映
像信号の出力時にはこれとフィールドメモリ9に記憶し
である第1読出し出力映像信号を加算回路lOに与えて
加算合成して出力する。 一方、露出時間あるいは焦点距離が長い場合には、2つ
の映像信号はずれが発生する可能性が高いので、この場
合は加算補正せず、例えば、第1読出し出力映像信号を
増幅615に送り、ここで6dtl増幅して出力する。 本システムでは撮像素子から同一シャツタ開閉期間にそ
の期間を2分して前後2回に亙り読出して加算合成する
ので合成後は2倍になることから、増幅器15は入力を
2倍に増幅する必要があり、そのため、8dBの増幅率
としである。このように、露出時間あるいは焦点距離が
長い場合には、2つの映像信号はずれが発生する可能性
が高いので、この場合は加算補正せず、2回読出して得
た前記映像信号のうち、一方を2倍に増幅して出力し、
それ以外では2つの映像信号を加算することで、簡単な
操作のみで撮像素子のダイナミックレンジを拡大するこ
とができ、しかも、像のずれによるぶれ発生も抑制でき
るようになる。 このように本システムは撮像素子における同一画素の出
力信号を少なくとも2回読出してそれらを加算し、1画
面分の映像信号を得るものにおいて、第1には上記1画
面分の映像信号は1撮影の露光期間を2分割して前・後
半それぞれ別に読出し制御する手段と、これら読出され
た信号の差をとり、その差分の絶対値の信号をベースク
リップして上記加算した信号の補正量とし、減算補正し
て出力する補正手段とを備えて構成するか、または、補
正手段は前記読出し制御手段より読出された2つの信号
より被写体の動きを検出し、動きが一定値以下のときは
読み出され信号を加算処理し、一定値以上のときは前記
読出し制御手段より読出された2つの信号のうちの一方
を2倍して出力する構成とするか、または、前記補正手
段は前記読出された2つの信号を入射光量情報または撮
影レンズの焦点距離情報に応じて加算するか否かを選択
し、露出時間あるいは焦点距離が長−い場合には、2つ
の映像信号はずれが発生する可能性が高いので、この場
合は加算補正せず、2回読出してそれぞれ得た前記映像
信号のうち、一方を2倍に増幅して出力し、それ以外で
は2つの映像信号を加算して出力する構成とするもので
ある。そして、このような構成において、撮像素子にお
ける同一画素の出力信号を少なくとも2回読出してそれ
らを加算し、1画面分の映像信号を得ることにより、撮
像素子のダイナミックレンジを拡大するが、本装置では
読出し制御手段により、上記1画面分の映像信号は1撮
影の露光期間を2分割して前・後半それぞれ別に読出し
、2つの映像信号のかたちで得、そして、2つの像の間
にずれがあった場合の加算合成後のぶれを除去すべく、
補正手段により補正を加えるが、この補正は第1の発明
の場合、これら読出された信号の差をとり、その差分の
絶対値の信号をベースクリップして上記加算した信号の
補正量とし、減算補正して出力するようにし、これによ
り、ずれ相当部分は減算補正により除去し、ずれのない
部分のみを合成することになり、従って、撮像索子のダ
イナミックレンジを拡大することができ、しかも、像の
ずれによるぶれ発生も抑制できるようになるものである
。 また、第2の実施例の場合は前記補正手段は前記読出し
制御手段から読出された2つの信号より被写体の動きを
検出し、動きが一定値以下のときは読み出さ6号を加算
処理するようにし、動きが一定値以上のときは加算処理
せずに2回読出してそれぞれ得た前記映像信号のうち、
一方を2倍に増幅して出力することになり、これにより
、被写体像の動きが一定値以下のときはそのまま加算合
成し、動きが一定値以上のときは加算処理せずに前記映
像信号のうち、片方を2倍に増幅して出力する・と云う
簡単な操作のみで撮像素子のダイナミックレンジを拡大
することができ、しかも、像のずれによるぶれ発生も抑
制できるようになるものである。 また、第3の実施例の場合は前記補正手段は前記読出さ
れた2つの信号を入射光量情報または撮影レンズの焦点
距離情報に応じて加算するか否かを選択して加算補正す
るものであり、すなわち、露出時間あるいは焦点距離が
長い場合には、2つの映像信号はずれが発生する可能性
が高いので、この場合は加算補正せず、2回読出してそ
れぞれ得た前記映像信号のうち、一方を2倍に増幅して
出力し、それ以外では2つの映像信号を加算するもので
あり、これにより、簡単な操作のみで撮像素子のダイナ
ミックレンジを拡大することができ、しかも、像のずれ
によるぶれ発生も抑制できるようになるものである。 従って、本装置によれば、撮像素子のダイナミックレン
ジを拡大できると共に、動きの速い被写体でも鮮明な画
像を得ることができてスチル・ビデオカメラ等に適用し
て最適な撮像装置を提供することが出来る。 尚、本発明は上記し且つ図面に示す実施例に限定するこ
となくその要旨を変更しない範囲内で適宜変形して実施
し得るものであり、例えば、上記実施例では記録媒体と
してスチルビデオディスクを使用したが、映像信号を記
録する方式であれば、メモリカード等、他の記憶媒体を
対象とすることもできる。 [発明の効果] 以上、詳述したように本発明によれば、撮像素子のダイ
ナミックレンジを拡大できると共に、動きの速い被写体
でも鮮明で、ぶれのない画像を得ることができ、また、
同時に二つの信号を加算することによるノイズリダクシ
ョン効果も得られる等、スチル・ビデオカメラ等に適用
して最適な撮像装置を提供することが出来る。
DETAILED DESCRIPTION OF THE INVENTION [Field of Industrial Application] The present invention relates to, for example, a still video camera system, and more particularly to an imaging device in which the dynamic range of a solid-state imaging device is expanded. [Prior Art] In recent years, still video cameras (electronic still cameras) that use still video disks having the same structure as floppy disks as recording media have appeared. In this camera, for example, the image reproduction processor is configured to be electrically and mechanically removable, and images captured by the camera alone can be recorded on a still video disc built into the camera, and the camera can also be used for image reproduction. The system is connected to a processor for playing back images recorded on a still video disk, and the images can be viewed on display or as a hard copy. By the way, in such a still video camera,
An imaging device such as a CCD (solid-state imaging device) is used as an imaging device for capturing images. As shown in FIG. 9, such an image sensor has a predetermined saturation level LS, and in a still video camera, light accumulation reaches a maximum LS within the horizontal scanning period LH of the television. , this LS becomes the saturation level. Therefore, the output is saturated when the light 11Ls exceeding the saturation level LS is incident within this period il1. In such a case, a conventional method for expanding the dynamic range is to read out the charges accumulated in the image sensor twice and add them together to obtain a video signal for one image. However, in this method, the shutter speed is doubled, one screen is photographed twice, that is, photographed twice in succession, and the video outputs of each photograph are added and synthesized to obtain the image. That is, as shown in FIG. 1O, 111
Adding the first readout output video signal captured by the second shutter operation and the second readout output video signal captured by the second shutter operation, and setting the shooting time for each shutter operation to half the normal exposure time; The effect of the saturation level LS is removed by making the amount of incident light during each photographing time not exceed the saturation level LS so that the video signal after addition is at the original level. [Problem 8 to be solved by the invention] As described above, the image sensor has a saturation level with respect to the amount of incident light, and the image sensor becomes saturated with the amount of light exceeding this saturation level, resulting in poor resolution. Therefore, in order to eliminate the influence of this saturation, there is a conventional method in which one image is photographed twice by two shutter operations to obtain respective video signals, and the two are added to obtain one image. However, in a still video camera, a series of sequences are performed in synchronization with a television synchronization signal so that the captured images can be played back and viewed as television images. In the case of the NTSC system, the vertical synchronization is 1/60 seconds in the case of the field sequential system, and therefore,
The readout time is also limited to a maximum of once per field. In this case, if the above-mentioned dynamic range expansion method is adopted, one image is obtained by performing two shootings, so the second shooting will be delayed by 1/80 seconds from the first shooting. This delay is not a problem when photographing stationary objects or slow-moving subjects, but it causes a huge problem when photographing fast-moving subjects. For example, if the shutter speed is 11500 or l/1000
As you can easily understand by assuming a case where the image will be blurred if you do not adjust it to a fast speed, even if you release the shutter twice with an exposure time that is half the shutter speed above, there will be a time difference of 1780 seconds between the two. Misalignment is unavoidable, and therefore the first and second images will have a large misalignment. Then, when these two images are added together, the difference between the two images results in a highly blurred image, and in the end, if you try to photograph a moving subject, you will not be able to take a clear photograph. Therefore, the purpose of this invention is to expand the dynamic range of the image sensor and to obtain a still image that can capture clear images even of fast-moving subjects.
The object of the present invention is to provide an optimal imaging device for use in video cameras and the like. [Means for Solving the Problems] In order to achieve the above object, the present invention has taken the following measures. That is, in a device that reads out the output signals of the same pixel in an image sensor at least twice and adds them to obtain a video signal for one screen, firstly, the video signal for one screen has the exposure period of one shooting. Means for dividing into two and controlling readout for the front and rear halves separately, taking the difference between these read signals, base-clipping the signal of the absolute value of the difference and using it as a correction amount for the above-mentioned added signal, and performing subtraction correction. and a correction means for outputting the output. Second, the correction means is configured to be read out by the readout control means. Furthermore, thirdly, the correction means selects whether or not to add the two read signals according to the incident light amount information or the focal length information of the photographic lens, and performs the addition correction. [Effects] By taking such measures, the following effects will be exhibited. That is, the dynamic range of the image sensor is expanded by reading the output signals of the same pixel in the image sensor at least twice and adding them to obtain a video signal for one screen. The control means controls the video signals for the xiii planes by dividing the exposure period of one shooting into
It is divided and read out separately for the first and second half to obtain two video signals. Then, in order to remove the blurring after addition and synthesis when there is a shift between the two images, correction is applied by the correction means, but in the case of the first invention, this correction Then, the signal of the absolute value of the difference is base-clipped and used as the correction amount of the added signal, and the subtractive correction is output.・Thus, the portion corresponding to the shift will be removed by calculation correction, and only the portion without the shift will be combined. Therefore, the dynamic range of the image sensor can be expanded, and the occurrence of blur due to image shift can also be suppressed. Further, in the case of the second invention, the correction means detects the movement of the subject from the two signals read out from the readout control means, and when the movement is less than a certain value, adds the read signals. Then, when the motion is above a certain value, one of the video signals obtained by reading out twice without addition processing is output with twice the word width. As a result, in the case of the second invention, when the motion is below a certain value, it is added and synthesized as is, and when the movement is above a certain value, one of the video signals is amplified twice without performing addition processing. The dynamic range of the image sensor can be expanded by a simple correction operation such as outputting, and furthermore, it is possible to suppress the occurrence of blur due to image shift. Further, in the case of the third invention, the correction means selects whether or not to add the two read signals according to the incident light amount information or the focal length information of the photographing lens, and performs the addition correction. In other words, when the exposure time or focal length is long, there is a high possibility that the two video signals will be out of alignment, so in this case, one of the video signals obtained by reading out twice is read out twice without performing additive correction. It is amplified twice and output, and in other cases the two video signals are added together. Thereby, the dynamic range of the image sensor can be expanded with only a simple operation, and the occurrence of blur due to image shift can also be suppressed. Therefore, according to the present invention, it is possible to expand the dynamic range of an image sensor and obtain a clear image even of a fast-moving subject, thereby providing an optimal imaging device for use in still video cameras, etc. I can do it. [Example] Hereinafter, an example of the present invention will be described with reference to the drawings. Here, to touch on the technology that is the premise of this device, which will be explained below, the target is a still video camera.
The image signal from the image sensor is modulated, amplified, and applied to a magnetic recording medium for magnetic recording. In order to be able to read out the image sensor and play it back as a TV image,
l/ which is the time of one field in the case of field sequential
This is synchronized with the vertical synchronization signal VD every 60 seconds. Since a still video disk is used as the magnetic recording medium, the same applies to the drive system of the magnetic recording medium. In a magnetic recording medium, image information is concentrically recorded on the magnetic surface of a magnetic disk based on a flexible thin circular plastic film by a recording/reproducing magnetic head that moves radially using a head access mechanism. When recording image information in a still video camera, for example, up to 50 concentric recording tracks are formed at equal intervals, and each track stores one frame of field images. recorded. And 1
Since a field image is recorded for one frame per track, the drive system of the magnetic recording medium rotates the magnetic recording medium once in 1780 seconds, generates a pulse for each rotation, and generates a pulse that corresponds to the vertical synchronization signal VD. Used as a synchronization pulse. The camera's trigger button, which is the shutter button, is a two-stage switch. When you press the trigger button, the first
The second stage is activated, causing the photometry system to function and the drive for the magnetic recording medium to rotate.The photometry system and AP (autofocus) system measure the exposure and distance of the subject, and based on these measurement results, the system controller After determining the exposure and shutter speed, and controlling the exposure and shutter speed settings and autofocus settings, in the second stage, the shutter is driven in synchronization with the synchronization pulse, exposure is performed, and an image is taken. After reading the video signal from the element and changing 31,
This modulation signal is sent to the drive of the magnetic recording medium, applied to the magnetic head, and recorded on the recording track. For reproduction, a magnetic head reads the recorded signal from the recording track, demodulates it, performs certain processes such as dropout compensation and skinny distortion correction, adds a synchronization signal, and outputs it to a TV monitor, etc. You can display it as an image, or print it out as a hard copy using a video printer. The apparatus of the present invention is such a still video camera system in which the imaging/recording system is constructed as shown in FIG. That is, l is the camera lens, 2 is the aperture, 3 is the shutter, 4 is the half mirror, 15 is the solid-state image sensor, 6 is the A/D converter, 7 is the changeover switch, 8 is the drive control signal generator, and 9 is the field. 11 is a mirror for reflection, 12 is a photometry section, 13 is a system controller, and 14 is a signal correction section. Lens 1, diaphragm 2, shutter 3, half mirror 4, and mirror 11 constitute an optical system, and the optical image of the subject passes through lens 1, is distributed by half mirror 4, and is sent to solid-state image sensor 5 and mirror 11. be guided. The distributed light incident on the mirror 11 is guided to the photometry section 12. The photometer 1112 detects the amount of exposure light from the distributed light and measures the distance of the subject image, and the system controller 13 receives this distance measurement data and data on the amount of exposure light, and if the shutter speed is set to manual, the data on the amount of exposure light. The aperture value is determined based on the aperture value, and if the aperture value is set manually, the shutter speed is determined based on the exposure light amount data, and the aperture value setting signal is given to the aperture drive mechanism to set it. Focus control is performed by giving a control signal to the drive mechanism of the lens l based on distance measurement data so that the subject image is focused on the light receiving surface of the solid-state image sensor 5. Note that the shutter speed corresponds to the set time by stopping the drive command when the elapsed time after giving the shutter drive command reaches the time corresponding to the shutter speed setting time. The system controller 13 is in charge of the control center of the entire camera, and the solid-state image sensor 5 uses, for example, COD, and when half of the exposure time determined by the shutter speed has elapsed and the exposure Control is performed to read out the stored electric current at the end of each time period. This readout control is performed by the drive control signal generator (SSG; sync signal generator) Jl that generates a synchronization signal for reading drive of the CCD, and the drive control signal generator 8 is controlled by the system controller 13.
This is done by That is, the system controller 13
After starting the shutter drive, outputs a readout pulse at the time when half of the exposure time determined by the shutter speed has passed and at the end of the exposure time, and upon receiving this readout pulse, the drive control signal generator 8 starts the COD readout drive. Generates synchronization pulses for Further, the drive control signal generating section 8 executes a process for controlling unnecessary charge release of COD according to a command from the system controller 13 at the time when the trigger button is operated, and also executes an electronic shutter release drive control. For a period of up to 2 fields from CO
It is assumed that control is performed so that D is placed in a state where it can be exposed. 'It also has a mechanical shutter, which is controlled to open after the trigger button is operated until the open time of the electronic shutter reaches the exposure time. The A/D converter 0 converts the readout video signal of the solid-state image sensor 5 into a digital signal, and the changeover switch 7 converts the readout video signal to one of the adder circuit 10 and the field memory 9. This is for switching routes. The field memory 9 is a memory having a capacity for one field, and is used to store the first readout output video signal among the image signals read out twice from the solid-state image sensor 5 for each shooting. Therefore, the changeover switch 7
gives the first read output video signal to the field memory 9;
The second readout output video signal is switched to be supplied to the adder circuit 10, and at the output timing of the second readout output video signal, the first readout output video signal is sent from the field memory 9 in synchronization with the second readout output video signal. Read out and add the circuit! The system controller 13 is configured to control the amount to give $0. The first readout of the video signal from the solid-state image sensor 5 is based on a readout pulse that is output when half of the exposure time has elapsed. The accumulated charges are transferred, and the second readout of the video signal is performed after the exposure time ends. In other words, in COD, as shown in Fig. 3, charges corresponding to the amount of incident light are accumulated in the cells CL, which are pixels structured like the eyes of the substrate, and when readout control is performed, charges are accumulated for each group of cells CL in the same column. The configuration is such that charges are transferred to a vertical transfer path VT provided for the vertical transfer path VT, and the charges in this vertical transfer path VT are outputted to the outside by output control. In order to synchronize the external output of the charges of the vertical transfer path VT with the television system, the first vertical synchronization pulse after the transfer to the vertical transfer path VT is generated, and one vertical period (one field) starts from this point. period), and the charge is transferred from COD to the vertical transfer path VT for the second time at the vertical synchronization pulse generation timing at the end of the one vertical period. Transfer path VT
The system controller 13 is configured to perform control such as outputting the electric charge to the outside. In addition, in this system, the first video signal is read from the solid-state image sensor 5 when half of the exposure time has elapsed, but since there is still half of the exposure time left after that, charge is accumulated during that time. continues, thus making it possible to read out the charge a second time. The signal correction unit 14 is a processing circuit for correcting the deviation in the case of a moving image with respect to the signal output from the addition circuit IO, and sends the video signal whose deviation has been corrected to the subsequent process processing unit, Perform necessary processing as a video signal. Then, after modulation, it is recorded on a recording medium. Next, the operation of this apparatus having the above structure will be explained with reference to FIG. When you press the camera's trigger button, trigger button operation 1
The mechanical shutter opens at the second step, and the optical image of the subject is captured by lens 1.
The light is distributed by the half mirror 4 and guided to the solid-state image sensor 5 and the mirror 11. The distributed light incident on the mirror 11 is guided to the photometry section 12. The photometer I2 detects the amount of exposure light from the distributed light and measures the distance of the subject image, and the system controller 13 receives this distance measurement data and the data of the amount of exposure light, and if the shutter speed is set to manual, the data of the amount of exposure light. The aperture value is determined based on 1, and if the aperture value is set manually, the shutter speed is determined based on the exposure light amount data, and the aperture value setting signal is given to the aperture drive mechanism to set it. Also, based on the distance measurement data, the solid-state imaging probe 5
By giving a drive command to close the mechanical shutter when the elapsed time after giving a lens command so that the subject image is focused on the light receiving surface of the lens reaches the time corresponding to the shutter speed setting time, the shutter speed corresponding to the setting time is get (
Figure 2 (b), (c)). On the other hand, the solid-state image sensor 5 uses, for example, a COD, and is controlled to read out #& accumulated charges at the time when half of the exposure time determined by the shutter speed has elapsed and at the end of the exposure time, respectively. Ru. This readout control is performed by the drive control signal generation section 8 which generates a synchronization signal for the readout drive of the COD, and the drive control signal generation section 8 is controlled by the system controller 13. That is, after starting shutter driving, the system controller 13 outputs readout pulses at the time when half of the exposure time determined by the shutter speed has elapsed and at the end of the exposure time, respectively (see FIG. 2).
d)) Upon receiving this readout pulse, the drive control signal generator 8° generates a synchronizing signal for readout driving of the CCD. Further, the drive 1t control signal generating section 8 executes a process of controlling unnecessary charge release of COD according to a command from the system controller 13 when the trigger button is operated, and also executes shutter release drive control. After that, the COD is controlled to be in an exposed state for a maximum of two fields. The readout video signal of the solid-state image sensor 5 is the front;
It is converted into a digital signal by the /D converter B, and this digital readout video signal is sent to the adder circuit lO and the field memory 9 by the changeover switch 7.
give to one of them. The field memory 9 is a memory having a capacity for one field, and stores the first readout output video signal among the image signals read out twice from the solid-state image sensor 5 for each photographing. Therefore, the changeover switch 7 is controlled by the system controller 13 to apply the first readout output video signal to the field memory 9 and the second readout output video signal to the adder circuit IO, and also provides the second readout output video signal to the adder circuit lO. At the output timing of the output video signal, the first readout output video signal is read out from the field memory 9 in synchronization with the second readout output video signal, and the adder circuit 10 reads out the first readout output video signal from the field memory 9.
It is controlled to give As shown in FIG. 2(d), the first
The readout of the video signal for the second time is based on the readout pulse that is output when half of the exposure time has elapsed, and this readout pulse causes the COD solid-state image sensor 5 to transfer the current accumulated charge to the vertical transfer path, and The second reading of the video signal is performed after the exposure time ends. That is, COD
As shown in Fig. 3, a charge corresponding to the amount of incident light is accumulated in the cell CL, which is a pixel configured like an eye on the base, and
When read control is performed, charges are transferred to the vertical transfer path VT provided for each group of cells CL in the same column, and by output control, the charges in this vertical transfer path VT are output to the outside. . Then, in order to synchronize the output of the charges on the vertical transfer path VT to the outside with the television system, the first vertical synchronization pulse after the transfer to the vertical transfer path VT is generated at the point in time as shown in FIG. 2(e). 1 vertical period from this point (1
field period), the charge is transferred from the CCD to the vertical transfer path VT for the second time at the vertical synchronization pulse generation timing at the time when the one vertical period has elapsed, and then from this point on, for one vertical period, The system controller 1 controls the output of the charge in the vertical transfer path VT to the outside.
3 will be implemented. In addition, in this system, the first video signal is read from the solid-state image sensor 5 when half of the exposure time has elapsed, but since there is still half of the exposure time left after that, charge is accumulated during that time. continues, thus making it possible to read out the charge a second time. Although omitted in FIG. 1, the signal sent from the switch 7 to the adder circuit 10 and the read signal from the field memory 9 are given to the signal correction section 14.
4 examines whether or not the two signals are moving images based on the deviation between the two signals, and in the case of a moving image, corrects the signal output from the adder circuit 10 to remove the deviation. Then, the video signal that has passed through the signal correction section 14 is sent to the subsequent process processing section, and the necessary information as the video signal is
After being processed and modulated, it is recorded on a recording medium. Here, an example of the configuration of the signal correction section 14 is shown in FIG. 4. As shown in the figure, the signal correction unit 14 includes a difference extraction circuit 14a that obtains absolute value data of the difference between the video signal data a sent from the changeover switch 7 to the adder circuit IO and the video signal data b read from the field memory 9; A clip level processing section 14b1 cuts a portion of the absolute value of the difference between the video signal data a and b outputted by the difference extraction circuit 14a that is less than or equal to a predetermined value; This circuit is composed of an adder circuit 14c that performs subtraction from the output of . The operation of such a circuit will be explained with reference to FIG.
The difference extraction circuit 14a extracts data a (fifth
(a)) and data b of the first readout output video signal which is the readout output from the field memory 9 (FIG. 5(b))
Then, the difference between the two (Fig. 5(d)) is obtained, and then its absolute value data is obtained (°Fig. 5(0)). In the case of a moving subject, both data a. There is a difference in b, and if you simply add and synthesize the two, Figure 5 (e)
As shown in the figure, a difference in level occurs by the amount S that the image has moved, and this appears as a blur in the image. Therefore,
In order to remove this blur, the difference between both data a and b (Fig. 5 (d)) is obtained as described above, and then the absolute value data is obtained (Fig. 5 (e)). By obtaining image data of and passing it through the clip level processing section 14b, parts below a predetermined value are cut. This is data a
, b are originally images with temporal shifts, and it is unavoidable that there will be differences in brightness levels even in the same pixel area, so if you remove all even the slightest level differences, the image will be distorted because it is digital processing. This is because there is a concern that the image may become unnatural, so this is avoided by setting the clip level LV (-L2), which is a predetermined threshold level, as a dead zone and cutting the part below this level. . Then, the data clipped by the clip level processing unit 14 is given to the addition circuit 14c with Ll as negative data, and the output from the addition circuit IO (addition value of data a and b) (FIG. 5(C)) Correct by adding . If there is a movement between data a and b, simply adding them together will reveal the deviated part, but by adding the above correction, this deviation will almost be deleted (see Figure 5 (r ))
, blurring can be prevented. Of course, for the deviation data that is equal to or greater than the clip level, deviation data at a level less than the clip level remains, but this is small and does not pose a problem. FIG. 6 shows another embodiment of the signal correction section 14. In this example, movement of the subject data is detected by comparing the first and second readout output video signals a and b in correspondence with cells, that is, pixels of the image sensor, and only when there is no movement, both video signal data a and , b are added, and when there is movement, a correction is made so that the brightness change in the area of the shifted part is smoothed, and then the summation is performed. In this case, the adder circuit lO used in the previous embodiments is unnecessary, and the signal correction section 14 uses the video signal "data a" sent from the changeover switch 7 and the read video from the field memory 9 synchronized with the data a. a motion detection unit 141 which receives signal data b pixel-wise and detects the presence or absence of a difference between the two data values, and outputs a coefficient value K to perform correction when motion a is detected; First and second correction circuits 142 and 143 that receive the output coefficient value of the motion detection unit 141 and correct the coefficient value by a factor of 2, and among these correction circuits 142 and 143, 142 and the second readout output video signal data a obtained through the correction circuit 1
43 and the first readout output video signal data b obtained through the first readout output video signal data b. Such a circuit receives data a of the second output video signal input from the changeover switch 7 and data b of the first output video signal read out from the field memory 9 in pixel correspondence. The motion/detection unit 141 detects the difference between the two, and if there is a difference, determines that there is movement. When the motion detection section 141 determines that there is motion, it generates a coefficient value for correction, and the correction circuit 142.1 generates a coefficient value for correction.
Give to 43. For example, as shown in FIG. 7, if the brightness of pixels PI-PG is changing, there is no change in brightness in pixels P1-P3, so the coefficient value K is set to ``1'', and therefore 2- is also "1", and it is determined that there is a pixel change for the first time at the position of pixel P4, but since it is not possible to respond in terms of speed, the coefficient value is still set to "1" at this point. Then, at the time of pixel P5, it is determined that there is a pixel change from P4, and in this case, there is a continuous change, so for the first time, the coefficient value K is set to rl/
Change only 2J. Therefore, in the example shown, the coefficient value is r
l (1/2) J, and the coefficient value 2- is rl/2J
becomes. Furthermore, since it is determined that there is a change even at P5,
At the time of P6, both K and 2- are further changed by "l12", and the coefficient value K is set to "2" and the coefficient value 2-K is set to "0". This multiplier is used as a multiplier to multiply the input data a and b at each time by this multiplier, and the result is added in an adder circuit 144 and output. The coefficient value is not limited to the above example, but the point is that pixels are compared and if there is a change, the data is processed to be corrected so that the brightness changes smoothly. In the above example, the brightness of data a becomes high, but if the brightness of data a becomes equal to data b, from that point onwards, the coefficient value K is changed from "2" to rl (
1/2) J, change it to "1", and change the coefficient value 2- to "0".
” to rl12J to “1”. This results in
The brightness of the shifted portion changes smoothly. By the way, if the exposure time or the focal length of the lens is long, there is a high possibility that the two video signals will be out of sync. An example of how to deal with this case will be described below. Since the system controller 13 performs autofocus and exposure control of the camera, the system controller 13 controls the changeover switch 7 shown in FIG. 8 according to the exposure time or focal length. The changeover switch 7 is configured to select one of the three directions, and an amplifier 15 with an amplification factor of 6 dB is provided as the signal correction section 14. When the exposure time or focal length is short, the first readout output video signal is stored in the field memory 9, and when the second readout output video signal is output, this and the first readout output video signal are stored in the field memory 9. are applied to an adder circuit 10, added and synthesized, and output. On the other hand, if the exposure time or focal length is long, there is a high possibility that the two video signals will be out of alignment. The signal is amplified by 6dtl and output. In this system, the image sensor divides the period into two during the same shirt opening/closing period, reads the signals twice before and after, and adds and synthesizes the signals.The resulting signal is doubled after synthesis, so the amplifier 15 needs to amplify the input by two times. Therefore, the amplification factor is 8 dB. In this way, when the exposure time or focal length is long, there is a high possibility that the two video signals will be out of alignment. is amplified twice and output,
Otherwise, by adding two video signals, it is possible to expand the dynamic range of the image sensor with only a simple operation, and it is also possible to suppress the occurrence of blur due to image shift. In this way, this system reads the output signals of the same pixel in the image sensor at least twice and adds them to obtain a video signal for one screen. means for dividing the exposure period into two and controlling readout separately for the first and second halves, taking the difference between these read signals, base-clipping the signal of the absolute value of the difference and using it as a correction amount for the added signal, or a correction means detects the movement of the subject from the two signals read out by the readout control means, and when the movement is less than a certain value, the correction means reads out the signal. or the correcting means is configured to perform addition processing on the two signals read out, and when the value exceeds a certain value, one of the two signals read out by the readout control means is doubled and outputted; Select whether or not to add the two signals according to the incident light amount information or the focal length information of the photographing lens, and if the exposure time or focal length is long, there is a possibility that the two video signals will be out of alignment. In this case, one of the video signals obtained by reading twice is amplified twice and output without performing addition correction, and in other cases, the two video signals are added and output. It is something to do. In such a configuration, the dynamic range of the image sensor is expanded by reading the output signals of the same pixel in the image sensor at least twice and adding them to obtain a video signal for one screen. Then, the readout control means divides the exposure period of one shooting into two and reads out the first and second halves of the video signal for one screen separately, and obtains the two video signals in the form of two video signals. In order to remove blur after additive synthesis if there is,
Correction is applied by the correction means, and in the case of the first invention, this correction is performed by taking the difference between these read signals, base-clipping the signal of the absolute value of the difference, making it the correction amount for the added signal, and subtracting it. By correcting and outputting, the portion corresponding to the deviation is removed by subtraction correction, and only the portion without deviation is synthesized. Therefore, the dynamic range of the imaging probe can be expanded, and furthermore, This also makes it possible to suppress the occurrence of blur due to image shift. Further, in the case of the second embodiment, the correction means detects the movement of the subject from the two signals read out from the readout control means, and when the movement is less than a certain value, adds the readout No. 6. , when the motion is above a certain value, the video signals are read out twice without addition processing, and each of the video signals is obtained separately.
One of the signals is amplified twice and output, so that when the movement of the subject image is below a certain value, it is added and synthesized as is, and when the movement is above a certain value, the video signal is added without addition processing. The dynamic range of the image sensor can be expanded by a simple operation of amplifying one of the two signals twice and outputting the same, and furthermore, it is possible to suppress the occurrence of blur due to image shift. Further, in the case of the third embodiment, the correction means selects whether or not to add the two read signals according to the incident light amount information or the focal length information of the photographing lens and performs addition correction. In other words, when the exposure time or focal length is long, there is a high possibility that the two video signals will be out of alignment, so in this case, one of the video signals obtained by reading out twice without performing additive correction. It amplifies the image twice and outputs it, and otherwise adds the two video signals.This allows the dynamic range of the image sensor to be expanded with simple operations, and it also eliminates the problem of image shift. This also makes it possible to suppress the occurrence of blur. Therefore, according to this device, it is possible to expand the dynamic range of the image sensor and to obtain a clear image even of a fast-moving subject, so that it can be applied to a still video camera, etc. to provide an optimal image pickup device. I can do it. It should be noted that the present invention is not limited to the embodiments described above and shown in the drawings, and can be implemented with appropriate modifications within the scope of the gist thereof. For example, in the embodiments described above, a still video disc is used as the recording medium. Although we used a method for recording video signals, other storage media such as memory cards can also be used. [Effects of the Invention] As detailed above, according to the present invention, it is possible to expand the dynamic range of an image sensor, and also to obtain a clear and blur-free image even of a fast-moving subject.
A noise reduction effect can also be obtained by adding two signals at the same time, and the present invention can be applied to still and video cameras to provide an optimal imaging device.

【図面の簡単な説明】[Brief explanation of drawings]

第1図は本発明の一実施例を示すブロック図、712図
はその作用を説明するためのタイミングチャート、第3
図はCODの構成を示す図、第4図は本発明の他の実施
例を示すブロック図、第5図はその作用を説明するため
のタイミングチャート、第6図は本発明のさらに別の実
施例を示すブロック図、第7図はその作用を説明するた
めの図、第8図は本発明の別の実施例を示すブロック図
、第9図および第10図はダイナミックレンジとその拡
大の手法を説明するための図である。 l・・・カメラのレンズ、2・・・絞り、3・・・シャ
ッタ、4・・・ハーフミラ−15・・・固体撮像素子、
6・・・^/D。 変換器、7・・・切り替えスイッチ、8・・・駆動制御
信号発生部、9・・・フィールドメモリ、IO・・・加
算回路、11・・・反射用のミラー、12・・・測光部
、13・・・システムコントローラ、14・・・信号補
正部。 出願人代理人 弁理士 坪井  淳 第 図 箪 図
FIG. 1 is a block diagram showing one embodiment of the present invention, FIG. 712 is a timing chart for explaining its operation, and FIG.
4 is a block diagram showing another embodiment of the present invention, FIG. 5 is a timing chart for explaining its operation, and FIG. 6 is a further embodiment of the present invention. A block diagram showing an example, FIG. 7 is a diagram for explaining its operation, FIG. 8 is a block diagram showing another embodiment of the present invention, and FIGS. 9 and 10 are a dynamic range and its expansion method. FIG. l... Camera lens, 2... Aperture, 3... Shutter, 4... Half mirror 15... Solid-state image sensor,
6...^/D. Converter, 7... Changeover switch, 8... Drive control signal generation section, 9... Field memory, IO... Addition circuit, 11... Mirror for reflection, 12... Photometry section, 13... System controller, 14... Signal correction unit. Applicant's agent Patent attorney Jundai Tsuboi Illustration

Claims (3)

【特許請求の範囲】[Claims] (1)撮像素子における同一画素の出力信号を少なくと
も2回読出してそれらを加算し、1画面分の映像信号を
得るものにおいて、 上記1画面分の映像信号は1撮影の露光期間を2分割し
て前・後半それぞれ別に読出し制御する手段と、これら
読出された信号の差をとり、その差分の絶対値の信号を
ベースクリップして上記加算した信号の補正量とし、減
算補正して出力する補正手段とを備えたことを特徴とす
る撮像装置。
(1) In a device that reads the output signals of the same pixel in an image sensor at least twice and adds them to obtain a video signal for one screen, the video signal for one screen is obtained by dividing the exposure period of one shooting into two. means for controlling the reading of the front and rear parts separately, and a correction means for calculating the difference between these read signals, base-clipping the signal of the absolute value of the difference, making it the correction amount of the added signal, subtracting it, and outputting it. An imaging device comprising: means.
(2)撮像素子における同一画素の出力信号を少なくと
も2回読出してそれらを加算し、1画面分の映像信号を
得るものにおいて、 上記1画面分の映像信号は1撮影の露光期間を2分割し
て前・後半それぞれ別に読出し制御する手段と、 これら読出された2つの信号より被写体の動きを検出し
、動きが一定値以下のときは読み出された信号を加算処
理する補正手段とを備えたことを特徴とする撮像装置。
(2) In a device that reads the output signals of the same pixel in an image sensor at least twice and adds them to obtain a video signal for one screen, the video signal for one screen is obtained by dividing the exposure period of one shooting into two. means for controlling the reading of the front and rear parts separately, and a correction means for detecting the movement of the subject from these two read signals and adding the read signals when the movement is less than a certain value. An imaging device characterized by:
(3)撮像素子における同一画素の出力信号を少なくと
も2回読出してそれらを加算し、1画面分の映像信号を
得るものにおいて、 上記1画面分の映像信号は1撮影の露光期間を2分割し
て前・後半それぞれ別に読出し制御する手段と、 前記読出された2つの信号を入射光量情報または撮影レ
ンズの焦点距離情報に応じて加算するか否かを選択して
加算補正する補正手段を備えたことを特徴とする撮像装
置。
(3) In a device that reads the output signals of the same pixel in an image sensor at least twice and adds them to obtain a video signal for one screen, the video signal for one screen is obtained by dividing the exposure period of one shooting into two. means for separately controlling readout of the front and rear halves, and correction means for selecting whether or not to add the two read signals according to incident light amount information or focal length information of a photographing lens and performing addition correction. An imaging device characterized by:
JP1101918A 1989-04-21 1989-04-21 Imaging device Expired - Fee Related JP2804782B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP1101918A JP2804782B2 (en) 1989-04-21 1989-04-21 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1101918A JP2804782B2 (en) 1989-04-21 1989-04-21 Imaging device

Publications (2)

Publication Number Publication Date
JPH02280585A true JPH02280585A (en) 1990-11-16
JP2804782B2 JP2804782B2 (en) 1998-09-30

Family

ID=14313289

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1101918A Expired - Fee Related JP2804782B2 (en) 1989-04-21 1989-04-21 Imaging device

Country Status (1)

Country Link
JP (1) JP2804782B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5483281A (en) * 1992-09-29 1996-01-09 Mitsubishi Denki Kabushiki Kaisha Signal processing device for a two-dimensional solid-state imaging element
EP0975154A1 (en) * 1998-07-24 2000-01-26 Olympus Optical Co., Ltd. Image pick-up device
US7889275B2 (en) * 2003-01-28 2011-02-15 Microsoft Corp. System and method for continuous flash
CN112929578A (en) * 2021-03-05 2021-06-08 科络克电子科技(上海)有限公司 Image sensitization time acquisition method, device, equipment and medium

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5483281A (en) * 1992-09-29 1996-01-09 Mitsubishi Denki Kabushiki Kaisha Signal processing device for a two-dimensional solid-state imaging element
EP0975154A1 (en) * 1998-07-24 2000-01-26 Olympus Optical Co., Ltd. Image pick-up device
US6801248B1 (en) 1998-07-24 2004-10-05 Olympus Corporation Image pick-up device and record medium having recorded thereon computer readable program for controlling the image pick-up device
US7889275B2 (en) * 2003-01-28 2011-02-15 Microsoft Corp. System and method for continuous flash
CN112929578A (en) * 2021-03-05 2021-06-08 科络克电子科技(上海)有限公司 Image sensitization time acquisition method, device, equipment and medium
CN112929578B (en) * 2021-03-05 2023-05-05 科络克电子科技(上海)有限公司 Image sensitization moment acquisition method, device, equipment and medium

Also Published As

Publication number Publication date
JP2804782B2 (en) 1998-09-30

Similar Documents

Publication Publication Date Title
EP0233736B1 (en) Composite camera apparatus
US20080211902A1 (en) Imaging device
JPH0410777A (en) Control device for depth of filed of image pickup device
JP2009124313A (en) Electronic camera
JPH1188811A (en) Camcorder and photographing method
JPH08279954A (en) Image pickup device
US6385393B1 (en) Magnetic recording type of photographic apparatus capable of effecting motion-image recording and still-image recording
US8040380B2 (en) Image-taking apparatus
JPH02280585A (en) Image pickup device
JP2000184265A (en) Image signal image pickup device and its method
JP3171871B2 (en) Magnetic recording and imaging device
JPH1132256A (en) Image-pickup device
JP3336085B2 (en) Imaging recording and playback device
JP3395197B2 (en) Video signal recording device
JPH0410786B2 (en)
JP2608163B2 (en) Imaging device
JPH0738701B2 (en) Electronic still camera
JP4126816B2 (en) Image recording apparatus and image recording method
JP3919083B2 (en) Imaging device
JP4135046B2 (en) Image signal imaging apparatus and method
JP3391491B2 (en) Video camera and control method thereof
JP2010252078A (en) Imaging system
JP2000278588A (en) Video camera
JPH05268515A (en) Camcoder
JPH02241281A (en) Photographing system for electronic camera

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080717

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees