JP3349129B2 - 撮像装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、撮像装置に係
り、特に光感度性能を向上させたときの動解像度特性の
劣化を効果的に抑える撮像装置に関する。

【０００２】

【従来の技術】ＣＣＤ（電荷結合素子）等の固体撮像素
子を用いた撮像装置は、安価、小型軽量で扱いやすいな
どの特徴をもっていることから、いろいろな分野で画像
情報入力装置として利用されている。撮像装置の性能の
１つに光感度があるが、監視用途等で使われている撮像
装置では被写体の照明条件がかなり悪い場合も多く、通
常の室内での使用時に対して１０数倍以上の感度が要求
される。これらの高感度化のための例として、ＣＣＤ上
の光電変換部であるフォトダイオードへの光蓄積時間
を、高感度化する度合いに応じて１０数倍以上に長くす
る方法がある。

【０００３】図３は、撮像装置の光感度性能を向上させ
る方法の従来の例について説明するためのものであり、
ＣＣＤのフォトダイオードに蓄積された信号電荷を読出
すタイミングを示している。

【０００４】（ａ）は垂直ブランキングパルスを示し、
（ｂ）は通常撮像時の電荷読出しパルスの例であり、１
フレーム毎にフォトダイオードから信号電荷を読出す。
また、（ｃ）は電荷読出しパルスの他の一例であり、４
フレーム毎に１回フォトダイオードから信号電荷を読出
す。（ｃ）では、フォトダイオードでの光蓄積時間が
（ｂ）の４倍となっており、同じ光量時に得られる信号
レベルも４倍となる。なお、この場合再生画像のフレー
ム画像としての連続性を保つために、ＣＣＤから読み出
された撮像信号は、信号処理の過程でメモリに取込まれ
る。そして電荷読出しパルスが無いフレームでは、テレ
ビジョンの走査フォーマットに合わせてメモリ上の画像
信号を読出して再生する、という処理が一般的に施され
ることが多い。

【０００５】ところで、上記のような従来の撮像装置で
用いられている光感度の向上方法では、動解像度が劣化
するという画質上の問題点が発生する。すなわち、高感
度化すればするほど電荷読出しパルスの間隔が長くなる
ので、その間に被写体が動くと再生画像の輪郭が不鮮明
になってしまうとともに、残像現象として再生されて見
苦しくなってしまうのである。

【０００６】

【発明が解決しようとする課題】上記したように、従来
の撮像装置での高感度化では、フォトダイオードに蓄積
された信号電荷を読出す間隔を長くして対応しているの
で、撮像装置と被写体との相対的な速度が大きくなると
再生画像の輪郭が不鮮明になってしまうとともに、残像
現象として再生されて見苦しくなってしまう、すなわち
動解像度特性が劣化するという問題点を有している。

【０００７】そこで、この発明の目的は、高感度モード
で動作させているときに、被写体が動いたり、手振れが
発生した場合でも、動解像度特性の劣化が効果的に抑え
られる撮像装置を提供することにある。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に、この発明では、光感度性能を調整可能な機能を備え
る撮像装置において、複数の画像から被写体の動きもし
くは前記撮像装置の動きを検出する動き検出部と、前記
動き検出部から出力される被写体もしくは前記撮像装置
の動き量および動きの状態に応じて、撮像素子の露光時
間を制御することにより光感度性能を調整する第１の光
感度調整手段が光感度性能に寄与する割合と、複数の画
像間で相互に対応関係にある画素を加算することにより
光感度性能を調整する第２の光感度 調整手段が光感度
性能に寄与する割合と、各々の画像内の各画素信号を、
相互に隣接する所定の画素群の単位で加算することによ
り光感度性能を調整する第３の光感度調整手段が光感度
性能に寄与する割合とを適応的に制御する制御手段とを
有する。

【０００９】

【００１０】上記のような各構成によれば、被写体もし
くは撮像装置の動き量および動きの状態に応じて複数の
光感度調整手段が光感度性能に寄与する割合を適応的に
選択して制御しており、また画素加算による光感度性能
の調整に際しては、加算動作の前に画素位置を補正する
等の処理を施しているので、従来のように高感度撮像時
に動解像度特性が著しく劣化してしまうことはない。す
なわち高感度特性は保持したまま被写体の動き量に応じ
て撮像装置の動解像度特性を効果的に改善することがで
きるようになる。

【００１１】

【発明の実施の形態】以下、この発明の一実施の形態に
ついて、図１の回路構成図を参照しながら詳細に説明す
る。

【００１２】図１において、撮像レンズ１１により集光
された光学情報は、ＣＣＤ１２上に結像される。パルス
発生回路１３により発生されたパルスは、ＣＣＤ駆動回
路１４に入力されて所定のレベルに変換する。ＣＣＤ駆
動回路１４から出力されるＣＣＤ駆動用のパルスを、Ｃ
ＣＤ１２に入力させることにより、その感光部に入力さ
れた光学像を、電気信号に変換して出力する。

【００１３】ＣＣＤ１２からの撮像出力信号は、プリア
ンプ１５に入力されて所定のレベルまで増幅された後、
アナログ−デジタル変換器１６によりディジタル信号に
変換する。そして、その出力信号はカメラプロセス回路
１７に入力し、ここでガンマ補正などの通常のカメラ信
号処理を施した後に、出力端子１８から外部に出力させ
る。

【００１４】さらに、高感度化処理が施されるときは以
下処理が追加となる。すなわち、カメラプロセス回路１
７に入力された画像信号は利得制御された後、カメラプ
ロセス回路１７から出力されてフレームメモリ１９に書
き込む。このフレームメモリ１９は、複数フレーム分の
画像データを書き込むことのできる容量がある。このフ
レームメモリ１９上の複数の画像データのうち、少なく
とも２枚分の画像データは、動きの状態および量検出回
路２０に入力させるとともに、画素加算回路２１に入力
させる。動きの状態および量検出回路２０では、上記の
入力された複数枚の画像データを用いて動きの状態と動
きの量を検出し、その結果をシステム制御回路２２に送
る。

【００１５】システム制御回路２２は、主に露光時間制
御部２２１と画素加算数制御部２２２と画素位置制御部
２２３とから構成されている。このうち露光時間制御部
２２１の出力は、パルス発生回路１３に入力され、ＣＣ
Ｄ１２の感光部にあるフォトダイオードから撮像信号を
読み出す際の露光時間を制御する。これにより、たとえ
ば露光時間を長くすれば相対的に高感度化される。

【００１６】また、画素加算数制御部２２２の出力は画
素加算回路２１に入力され、画素加算を行なう画素数を
制御する。画素位置制御部２２３の出力は、同じく画素
加算回路２１に入力され、各画像上内での画素位置の制
御を行なう。画素加算回路２１では画素位置制御部２２
３と画素加算数制御部２２２からの制御に基づき、必要
があれば画像内の加算する部分を抽出し、移動し、その
後画素毎の加算処理を行なう。このとき複数の画像間で
加算を行なう場合は、対応する画素毎に加算処理を行な
い、１枚の画像内で処理を行なう場合は、各画素の所定
の近傍画素内で加算処理を行なう。

【００１７】これらの加算処理により画像信号レベルが
増加されるとともに、ランダム雑音に関する信号対雑音
（ＳＮ）比は、加算回数ｎ（ｎ＝２，３，４，…）に対
してｎ^１／２ だけ改善されるので結果として高感度化
される。画素加算回路により高感度化された信号はカメ
ラプロセス回路１７に戻される。そして前記したように
各種カメラ信号処理が施された後、画像信号が出力端子
１８から外部に出力される、という構成になっている。

【００１８】次に、上記のように構成された実施の形態
における動作についてより詳細に説明する。全体の処理
の流れを図２に示す。いま一例としてカメラの感度設定
が通常の８倍になっている場合を考える。ここで言う感
度設定８倍とは、同じ入射光量でかつ高感度化前と同じ
ＳＮ比が保持されるときに８倍の信号レベルが得られ
る、という意味での値である。また、最終的な出力画像
に要求される空間解像度および動解像度は、事前に与え
られているものとする。

【００１９】まず、高感度化の要求度合いと図１のフレ
ームメモリ１９の容量と動解像度の要求度合いとから、
高感度化統合前の１枚の画像に必要な露光時間と、複数
枚の画像を取得する際の画像取り込み間隔を決定する。
例えば、高感度化前の１枚の画像を得るための露光時間
が１／６０ｓ、また複数枚の画像を取得する際の画像取
り込み間隔も１／６０ｓであり、フレームメモリ１９の
容量が画像１６枚分である時に、感度設定を８倍とし、
動解像度要求として１枚の画像の露光時間が１／４のと
きと同等の動解像度特性が得られる、という条件を設定
する。このとき１枚の画像を取得するための露光時間を
１／４の１／２４０ｓとし、また複数枚の画像を取得す
る際の画像取り込み間隔は変わらず１／６０ｓのままと
する。説明の簡単化のために撮像時の雑音は光ショット
雑音が主要因であるとすると、この露光時間の設定によ
り信号レベルは１／４となり、ＳＮ比は１／２となる。

【００２０】この条件下で１６枚の画像を取り込み、各
画像間の相互に対応する画素を加算する。この処理によ
り信号レベルは高感度化前の４倍となり、ＳＮ比は高感
度化前の２倍となる。すなわち８倍の高感度化が達成さ
れたことになる。

【００２１】上記の処理で感度設定と加算前の各画像の
動解像度は条件を満足したが、１６枚の画像を加算して
いるため、複数の画像の内最初の画像と１６枚目の画像
とでは４／１５ｓの時間差がある。この間で被写体と撮
像装置間で相対的な動きがあると、高感度化統合後の画
像の解像度は劣化してしまう。そこで以下の処理を施
す。

【００２２】複数の画像の内、取りこみ時刻が隣り合う
少なくとも２枚以上の画像データを用いて、動き量の検
出と動きの状態の検出を行なう。ここで動きの状態とし
ては、（１）手振れ、（２）パン・チルト・回転、
（３）動被写体、の３種を検出する。

【００２３】手振れの場合は、画像中の四隅の領域が同
じ方向に同じ量だけ動いているかを見ることにより検知
することができる。また１枚の画像全体の撮像範囲に対
する移動量の割合や、動きの周波数が数Ｈｚ〜２０Ｈｚ
の範囲内に入っていることも確認すれば検知の精度をさ
らに上げることも可能である。このときは検出された手
振れを補正するように、各画像の画素位置を補正して相
互に位置合わせを行なった後に、上記の画素加算処理を
施して光感度性能を制御する。

【００２４】パンやチルトや回転は、手振れと同じく画
像全体が同じ方向に動いていく傾向が強いが、手振れと
比較すると同方向への移動の持続時間が長く、また移動
の周波数成分も数Ｈｚ以下である等を検知することによ
り判別することができる。このときは撮影者がある意志
を持って撮像装置を動かしているので、前期の画素位置
補正は行なわない。

【００２５】処理としては、まずＳＮ比の設定度合いの
範囲内で各画像の信号レベルを上げるように利得制御を
行なう。この利得制御によっても高感度化設定の要求が
満足されていないときは、１枚の画像内の各画素の隣接
画素を用いて加算処理を施して信号レベルを上げる。こ
の処理により空間解像度は劣化するが、パンやチルトや
回転時は、空間解像度の劣化は目立ちにくいので、実用
上問題は無い。ＳＮ比の設定度合いとパンやチルトや回
転の移動速度の関係に左右されるが、一般的には移動速
度が大きいほど画素加算に使用する隣接画素数を増やし
ても空間解像度の劣化は目立ちにくい。

【００２６】画像中の一部の領域が画像の四隅とは独立
して動いているときは、画像中の被写体の一部に動いて
いる部分があると判断することができる。このときはこ
の動いている動被写体部と静止している背景部をまず分
離する。そして背景部については前記したように複数の
画像間で相互に対応関係にある画素を加算して高感度化
処理を行なう。

【００２７】一方、動被写体部については、前記と同じ
くまずＳＮ比の設定度合いの範囲内で各画像の信号レベ
ルを上げるように利得制御を行なう。この利得制御によ
っても高感度化設定の要求が満足されていないときは、
１枚の画像内の各画素の隣接画素を用いて加算処理を施
して信号レベルを上げる。利得制御の程度と画素加算数
はＳＮ比の設定度合いと動きの量に応じて適応的に制御
することになる。

【００２８】このように、この実施の形態では、被写体
の動き量および動きの状態に応じて、画素加算を行なう
画像の数と、画素加算を行なう画像中の領域の位置と領
域の大きさと、画素加算の前の画像に施す動き補正量
と、画像信号レベルの内の少なくとも１つを制御してい
る。具体的には静止画のときは複数の画像間で対応する
画素を加算して高感度化する。画像に手振れがあるとき
は複数の画像間で位置を補正後に対応する画素を加算し
て高感度化する。このときフレームメモリの容量の制限
はあるが、動解像度の設定要求に応じて加算前の各画像
の露光時間を短くできるので、各画像の輪郭のぼけは減
り、単に露光時間を長くする場合に比して動解像度の改
善効果は大きい。画像中の動きの状態にパンやチルトや
回転が含まれているときは、まずＳＮ比の設定度合いの
範囲内で各画像の信号レベルを上げるように利得制御を
行なう。

【００２９】次いで必要があれば、１枚の画像内の各画
素の隣接画素を用いて加算処理を施して高感度化する。
また画像中の一部に動被写体がある場合は、動被写体と
背景部とを分離後、背景部については複数の画像間で対
応する画素を加算して高感度化する。動被写体部につい
ては、まずＳＮ比の設定度合いの範囲内で各画像の信号
レベルを上げるように利得制御を行なう。次いで必要が
あれば１枚の画像内の各画素の隣接画素を用いて加算処
理を施して高感度化する。

【００３０】これらの処理により、撮像装置を高感度モ
ードで動作させたときに、いわゆる手振れが発生してい
たり、撮像装置がパンやチルトや回転の状態であった
り、動被写体の場合でも、再生画像の輪郭が不鮮明にな
ってしまうことや残像現象として再生される、というよ
うな動解像度特性の劣化を効果的に抑制することができ
る。

【００３１】上記の説明では、複数の画像を得るための
それぞれの露光時間は一定であるとして説明してきた
が、これに限定されるものではない。たとえば、加算前
の各画像の露光時間が１／１２０ｓで、８枚の画像を１
／３０ｓ間隔で取り込んで処理していたときに画像取り
込み方法を以下のように変更する。すなわち、露光時間
が１／１２０ｓの画像と１／１２００ｓの画像を、１／
６０ｓの間隔で交互に８枚ずつ取り込むのである。被写
体中に輝度レベルの高い部分があり、露光時間が１／１
２０ｓではＣＣＤが飽和してしまう場合でも、露光時間
が１／１２００ｓの状態では相対的に光量で１０倍まで
再現することができる。つまり、光感度化処理のために
は露光時間１／１２０ｓの画像８枚を用いて前記と同様
の処理を施せばよい。一方露光時間１／１２００ｓの画
像８枚に対しても同様の処理を施し、その後両画像を加
算する。

【００３２】以上の処理により映像信号レベルのダイナ
ミックレンジを拡大する、という効果も新たに付加する
ことができる。なお、露光時間１／１２００ｓの画像は
必ずしも１／１２０ｓの画像の間に挿入する必要は無
い。動きの量、動きの状態、ダイナミックレンジ拡大の
程度にもよるが、１／１２０ｓの画像８枚の後に追加で
１／１２００ｓの画像を１枚だけ取得する、という撮像
方法でもダイナミックレンジ拡大の効果を付加すること
ができる。

【００３３】

【発明の効果】以上に説明したように、この発明の撮像
装置では、被写体の動き量と動きの状態に応じて、被写
体もしくは撮像装置の動き量および動きの状態に応じて
複数の光感度調整手段が光感度性能に寄与する割合を適
応的に選択して制御するので、高感度モードで動作させ
たときに、手振れが発生していたり、パンやチルトや回
転の状態であったり、動被写体の場合でも再生画像の輪
郭が不鮮明になってしまうことや残像現象として再生さ
れる、という動解像度特性の劣化を効果的に抑制可能と
なる。

【図面の簡単な説明】

【図１】この発明の一実施の形態について説明するため
の回路構成図。

【図２】図１の動作を説明するためのフローチャート。

【図３】撮像装置における光感度性能を向上させる従来
例について説明するための説明図。

【符号の説明】 １１…撮像レンズ、１２…ＣＣＤ、１３…パルス発生回
路、１４…ＣＣＤ駆動回路、１５…プリアンプ回路、１
６…アナログ−デジタル変換器、１７…カメラプロセス
回路、１８…出力端子、１９…フレームメモリ、２０…
動きの状態および量検出回路、２１…画素加算回路、２
２…システム制御回路、２２１…露光時間制御部、２２
２…画素加算数制御部、２２３…画素位置制御部。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/235 H04N 5/335

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 光感度性能を調整可能な機能を備える撮
   像装置において、 複数の画像から被写体の動きもしくは前記撮像装置の動
   きを検出する動き検出部と、 前記動き検出部から出力される被写体もしくは前記撮像
   装置の動き量および動きの状態に応じて、撮像素子の露
   光時間を制御することにより光感度性能を調整する第１
   の光感度調整手段が光感度性能に寄与する割合と、複数
   の画像間で相互に対応関係にある画素を加算することに
   より光感度性能を調整する第２の光感度調整手段が光感
   度性能に寄与する割合と、各々の画像内の各画素信号
   を、相互に隣接する所定の画素群の単位で加算すること
   により光感度性能を調整する第３の光感度調整手段が光
   感度性能に寄与する割合とを適応的に制御する制御手段
   とを具備することを特徴とする撮像装置。
2. 【請求項２】 前記第２および第３の光感度調整手段
   は、 前記 動きの状態に手振れによる前記撮像装置の動きが含
   まれていると判断したときは、その手振れを補正するよ
   うに各画素位置を複数の画像間で合わせた後に画素加算
   をして高感度化処理を行ない、前記 動きの状態に撮影時のパンもしくはチルトもしくは
   回転による前記撮像装置の動きが含まれていると判断し
   たときは、前記画素位置補正は行なわずに画像の動き量
   と信号対雑音比に応じて、画像信号の利得制御が高感度
   化に寄与する割合と、画像内の相互に隣接する所定の画
   素群の単位で行なう加算処理が高感度化に寄与する割合
   とを適応的に制御して高感度化処理を行ない、前記 動きの状態に画像中の被写体が動いている部分があ
   ると判断したときは、画像全体からその動被写体部と静
   止している背景部を分離し、背景部については複数の画
   像間で相互に対応関係にある画素を加算して高感度化処
   理を行ない、動いている被写体部については画像の動き
   量と信号対雑音比に応じて、画像信号の利得制御が高感
   度化に寄与する割合と、画像内の相互に隣接する所定の
   画素群の単位で行なう加算処理が高感度化に寄与する割
   合とを適応的に制御して高感度化処理を行なうことによ
   り光感度性能を調整することを特徴とする請求項１に記
   載の撮像装置。