JPH0738799A - 手振れ補正装置 - Google Patents

Abstract

(57)【要約】 【目的】 解像度劣化の無い手振れ補正装置を、装置の
規模の増大や消費電力の増大をまねくことなく実現す
る。 【構成】 必要とされる画素数より多くの画素を持った
固体撮像素子１と、固体撮像素子１の垂直方向で必要な
画素の信号だけを、固体撮像素子１から出力させる撮像
素子駆動回路２と、水平方向で必要な画素の信号だけを
取り出して、テレビジョン規格の表示期間に引き延ばす
時間軸変換回路５と、画像の動きを検出する画像動き検
出回路６と、画像の動きの信号に基づいて撮像素子駆動
回路２と時間軸変換回路５とを制御する制御回路７を備
える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ビデオカメラ等で用い
る手振れ補正装置に関するものである。

【０００２】

【従来の技術】近年、家庭用ビデオカメラの自動化によ
る使い勝手の向上は急速なものがあるが、次のステップ
として手振れ補正が注目を浴び、家庭用ビデオカメラに
搭載できる手振れ補正装置の開発がトレンドとなってい
る。

【０００３】従来の手振れ補正装置について説明する。
図１１は、従来の手振れ補正装置の構成を示すブロック
図である。同図において固体撮像素子１は、光学系によ
り結像された画像を電気信号（以下、映像信号と称す）
に変換する。アナログ信号処理回路３は、固体撮像素子
１からの映像信号に所定の処理を行う。アナログ−デジ
タル変換回路４は、アナログ信号処理回路２から出力さ
れたアナログの映像信号をデジタルの映像信号に変換す
る。画像動き検出回路６は、デジタル映像信号から画像
の動きを検出する。デジタルシグナルプロセッサ（以
下、ＤＣＰと記す）５は、デジタル映像信号に所定の処
理を行い、輝度信号と色差信号を出力する。フィールド
メモリ９は、デジタル映像信号を１フィールド分記憶す
る。メモリコントローラ１０は、画像動き検出装置６か
らの画像動き情報に基づき、フィールドメモリ９の読み
だしアドレスを制御する。電子ズーム部１１は、フィー
ルドメモリの出力信号が、ＮＴＳＣ、ＰＡＬ等のテレビ
ジョン規格（以下、単にテレビジョン規格と称す）で定
められた表示期間の全域に出力できるように映像信号の
拡大処理を行う。

【０００４】

【発明が解決しようとする課題】しかしながら前記従来
では、フィールドメモリから出力する範囲を制限するた
め画像の情報量（即ち画素数）が減少し、それを規定の
表示範囲に拡大処理するため解像度が劣化してしまうと
いう問題があった。これを解決するためにあらかじめ画
素数を多く持っておくことも考えられるが、そうする
と、フィールドメモリの増大、単位時間当りの扱いデー
タ量の増大によるデジタルシグナルプロセッサ等の動作
速度増大による消費電力増加、といった新たな問題が生
じる。

【０００５】本発明は上記課題を鑑み、装置の規模や消
費電力を増大させることなく解像度劣化のない手振れ補
正装置を提供することを目的とする。

【０００６】

【課題を解決するための手段】上記課題を解決するため
に本発明は、解像度劣化を無くすため必要数より多くの
画素数を持った固体撮像素子を用いるが、動き補正が行
われた映像信号をフィールドメモリ出力でつくるのでは
なく、固体撮像素子、及び固体撮像素子に接続された映
像信号処理手段で生成し、且つ、映像信号処理手段の出
力データ数が、映像信号処理手段の出力映像信号の画像
の範囲に相当する固体撮像素子上の範囲の画素数に一致
させる。さらに、出力データが前記テレビジョン規格の
表示期間の全域に渡るような速度で出力させる。

【０００７】

【作用】上記の構成により固体撮像素子の画素数を必要
な数より多く持たせても、映像信号処理手段以降の映像
信号のデータ数は必要分だけであり、単位時間当りのデ
ータ数も増加しないので、それ以降に接続される装置の
規模や消費電力の増大を防ぐことができる。

【０００８】

【実施例】（実施例１）以下、本発明の一実施例につい
て図面を用いて説明する。

【０００９】図１は、本実施例のブロック図である。同
図において固体撮像素子１は、レンズで結像された像を
電気信号（以下、映像信号と称す）に変換する。固体撮
像素子駆動回路２は、固体撮像素子１が光電変換した範
囲の画像より小さな範囲の画像を映像信号として出力す
るように固体撮像素子１を駆動する。アナログ信号処理
回路３は、映像信号に所定の処理を行う。アナログ−デ
ジタル変換回路４は、アナログ信号処理回路３から出力
されたアナログの映像信号をデジタルの映像信号に変換
する。時間軸変換回路５は、入力されたデジタル映像信
号の画像の範囲よりも小さな範囲の画像の映像信号を規
定の表示期間に引き延ばして出力する。画像動き検出回
路６は、デジタル映像信号から画像の動きを検出する。
制御回路７は、画像動き検出回路６からの画像動き情報
に基づき、固体撮像素子１及び、映像信号処理回路の出
力する画像の範囲を制御する。デジタルシグナルプロセ
ッサ（以下、ＤＳＰと記す）８は、デジタル映像信号に
所定の処理を行い輝度信号と色差信号を出力する。

【００１０】図２は、図１に示した固体撮像素子１の構
成を示したものである。同図において、１ａは光電変換
を行うフォトダイオードであり、２ａはフォトダイオー
ドで発生した電荷を垂直方向に転送する垂直転送ＣＣＤ
であり、３ａは、垂直転送ＣＣＤ２ａからの電荷を水平
方向に転送する水平転送ＣＣＤであり、４ａは、電荷を
電圧に変換する出力アンプである。垂直転送ＣＣＤ２ａ
上には、フォトダイオー１ａの電荷を垂直転送ＣＣＤ２
ａに転送する読み出しゲート及び、電荷の垂直転送を行
うための転送ゲートがあり、水平転送ＣＣＤ３ａ上に
は、電荷の水平転送を行うための転送ゲートがある。

【００１１】固体撮像素子１の通常の駆動法を説明す
る。まず、１フィールド毎に読み出しゲートに電圧を加
え１フィールドの間に光電変換され蓄積された電荷を垂
直転送ＣＣＤ２ａに読み出す。続いて、水平同期期間
（以後１Ｈと称す）毎に垂直転送ゲートに電圧を加え１
ライン分の電荷を水平転送ＣＣＤ３ａに転送する。そし
て、１Ｈ内に水平転送ＣＣＤ３ａの電荷を転送し、出力
アンプ４ａを経て電気信号（映像信号）を出力させる。
この時、水平表示期間の全域に渡って映像が出るよう
に、光電変換が行われた画素（アクティブ画素と称す）
の電荷は水平表示期間中に転送される。即ち、転送動作
は水平表示期間内に全てのアクティブ画素の電荷を転送
するだけの速度で行われる。そして水平帰線期間中は黒
レベルを指示するための遮光された画素（ＯＢ部と称
す）の電荷が転送され出力される。これを図示したのが
図３（ａ）である。

【００１２】同図において、１ｂが水平表示期間、２ｂ
が水平帰線期間、３ｂがアクティブ画素の転送期間、４
ｂがＯＢ部の転送期間を示す。また同様に垂直転送につ
いても垂直表示期間には、光電変換された電荷を含むラ
イン（アクティブラインと称す）が転送され、垂直帰線
期間には遮光された画素のみのライン（ＯＢラインと称
す）が転送される。これを図示したのが図３（ｂ）であ
る。同図において、５ｂが垂直表示期間、６ｂが垂直帰
線期間、７ｂがフォトダイオードの電荷の読み出しタイ
ミング、８ｂがアクティブラインの転送期間、９ｂがＯ
Ｂラインの転送期間を示す。

【００１３】本実施例の固体撮像素子１の駆動方法につ
いて図４を用いながら説明する。本実施例では、固体撮
像素子１のフォトダイオードに蓄積された電荷の全てを
出力させるわけではなく、必要な範囲のみを出力させ
る。そして、この必要な範囲の画素数は必要十分な数だ
けある。言い換えれば、本実施例の固体撮像素子１は必
要以上の余裕画素を持っている。この余裕画素は、垂
直、水平、共にあるが、本実施例では垂直方向の余裕画
素を除く全ての画素の信号を出力させる。つまり、水平
方向の余裕画素の信号は出力する。そして、この出力す
る範囲は外部の信号により移動させることができる。

【００１４】同図（ａ）が垂直転送動作を示す。１ｃが
垂直表示期間で２ｃが垂直帰線期間、３ｃがフォトダイ
オードの電荷の読み出しタイミングである。４ｃが図２
において下側（画像としては上側）の不要範囲の画素の
電荷を高速に転送している期間である。５ｃが必要な画
素の電荷を転送している期間である。当然のことながら
この期間は垂直表示期間の全域に渡っている。６ｃが図
２において上側（画像としては下側）の不要範囲の画素
の電荷を高速に転送している期間である。４ｃと６ｃの
期間で高速転送された電荷は水平転送ＣＣＤ３ａに蓄積
されるが、それは垂直帰線期間内に全て出力される。即
ち、上下の余裕分は表示期間には出力されない。７ｃが
その出力期間を示す。

【００１５】同図（ｂ）に、水平転送動作を示す。８ｃ
が水平表示期間、９ｃが水平帰線期間である。１０ｃが
不要範囲の画素をも含めたアクティブ画素の電荷全てを
転送刷る期間、１１ｃがＯＢ部を転送する期間である。
これらの転送動作は、全て同じ速度で動作している。こ
の場合、１Ｈ期間内に全てを転送すれば良いだけで水平
表示期間による制約は無い。これは、表示期間に出力す
べき信号が、映像信号処理回路でつくられるからであ
る。また、水平表示期間のみに必要範囲の画素の電荷の
転送を行い、固体撮像素子１の出力が即、水平表示期間
の出力になるようにしないのは、水平帰線期間内に不要
範囲の画素の電荷を転送するのが速度的に困難であるた
めである。

【００１６】図５に、本実施例の固体撮像素子駆動装置
の構成を示す。１ｄがＶカウンタ、２ｄがＨカウンタで
あり、ＶＤは垂直ドライブ信号、ＨＤは水平ドライブ信
号で、それぞれ、Ｖカウンタ、Ｈカウンタの駆動基準信
号となっている。ＣＬＫ１は、固体撮像素子駆動手段を
駆動するクロックであり、１Ｈ期間内に余裕画素を含む
全ての水平転送ＣＣＤ３ａの電荷を転送できるだけの速
度に設定される。Ｖカウンタ、Ｈカウンタは、垂直、水
平帰線期間のみで動作するジョンソンカウンタ（シフト
レジスタ）となっており、表示期間でのカウントノイズ
発生を抑えている。３ｄがＶデコーダ、４ｄがＨデコー
ダで、それぞれ垂直転送ＣＣＤ２ａ、水平転送ＣＣＤ３
ａを駆動する信号を作っている。５ｄが高速転送段数制
御回路で、図２において下側の不要範囲の画素の電荷を
転送する段数を決定している。つまり、図４における４
ｃの期間の転送段数を決定している。この段数を変える
ことにより、固体撮像素子１から出力する画像の範囲を
移動させることができる。ＭＤＡＴＡ１は、制御回路７
から送られる前記高速転送段数を指示する信号である。
このような構成をとることにより光電変換された画像の
範囲より垂直方向において小さい画像範囲の映像信号を
固体撮像素子１から出力することができ、しかもその範
囲を外部より制御できる。

【００１７】図６が、本実施例の時間軸変換装置の構成
を示すブロック図である。１ｅは固体撮像素子から出力
され、アナログーデジタル変換回路４によりデジタル化
された映像信号を水平１ライン分の全てを記憶するライ
ンメモリである。書き込みと読み出しを独立に行うため
２ライン分用意され、２ｅと３ｅのスイッチにより書き
込み用と読み出し用を切り換えている。４ｅはラインメ
モリの書き込み動作を制御するライトコントローラであ
り、５ｅはラインメモリの読み出し動作を制御するリー
ドコントローラである。ラインメモリから読み出される
画素データは、不要範囲の画素を除いた必要画像範囲の
画素データのみである。ＣＬＫ１は書き込みクロック
で、ＣＬＫ２は読み出しクロックである。ＣＬＫ１は、
図５におけるＣＬＫ１と同一で、１Ｈ期間内に水平１ラ
イン分の全ての画素データを書き込める速度に設定され
ている。ＣＬＫ２は、前記必要画像範囲の画素データを
水平表示期間全域に渡って出力することのできる速度に
設定されている。リードコントローラは読み出しを任意
のアドレスからスタートすることができ、これにより読
み出す画像範囲を移動させることができる。ＭＤＡＴＡ
２は、制御回路７から送られるスタートアドレス指示信
号である。このような構成をとることにより、入力され
た映像信号の画像の範囲より水平方向において小さな画
像範囲の映像信号を水平表示期間の全域に渡って出力す
ることができ、しかもその範囲を外部より制御すること
ができる。

【００１８】この動作を示すのが図７である。１ｆが水
平表示期間、２ｆが水平帰線期間であり、３ｆが入力映
像信号のアクティブ画素の部分、４ｆが入力映像信号の
ＯＢ部分、５ｆが出力映像信号のアクティブ画素の部
分、６ｆが出力映像信号のＯＢ部分である。図のよう
に、入力映像信号のアクティブ画素の部分のうち、必要
範囲のみが水平表示期間の全域に渡って出力される。

【００１９】なお、本実施例では読み出しを制御してい
るが、書き込み時に必要な画像の範囲のみを書き込むよ
うに制御することにより、同様の作用をさせることがで
きるのは言うまでもない。

【００２０】図８が、前記ＣＬＫ１及びＣＬＫ２を発生
させるクロック発生装置の構成を示すブロック図であ
る。１ｇは原発振回路でＣＬＫ１とＣＬＫ２それぞれの
周波数の最小公倍数の周波数のクロックＣＬＫ０を発生
させる。２ｇはＣＬＫ０を分周してＣＬＫ１をつくる分
周回路である。３ｇはＣＬＫ０を分周してＣＬＫ２をつ
くる分周回路である。４ｇは、ＣＬＫ１とＣＬＫ２それ
ぞれの周波数の最大公約数の周波数のクロックＣＬＫ３
をつくる回路である。つまり、ＣＬＫ３の周期はＣＬＫ
１とＣＬＫ２のそれぞれの周期の最小公倍数になってい
るので、ＣＬＫ１とＣＬＫ２の位相関係はＣＬＫ３の周
期で繰り返す。５ｇは水平ドライブ信号ＨＤをつくる回
路である。このようにするのは、ＣＬＫ１とＣＬＫ２の
ビート成分が前記固体撮像素子の出力映像信号にノイズ
として乗るためである。そして、ビート成分は画面上で
問題のないレベルに抑圧できてもＯＢ部に乗った僅かな
成分が、前記デジタルシグナルプロセッサで色差信号を
つくる際に影響を与え、ビート成分が変動すると色が変
化することになる。このビートは、ＣＬＫ１とＣＬＫ２
の位相関係で生じるので、ＣＬＫ３と同じ周波数を持
ち、且つＣＬＫ３に対し一定の位相関係にある。したが
って、水平ドライブ信号をＣＬＫ３でつくれば、水平ド
ライブ信号と前記ビートとの位相関係は一定となり、Ｏ
Ｂ部に乗る成分も一定となり、色に与える影響も一定と
なって、色の変化はなくなる。

【００２１】図９を用い本実施例の制御装置を説明す
る。同図（ａ）は、制御回路７の構成を示すブロック図
である。１ｈは、画像動き検出回路６からの動きの情報
（以下検出動きベクトルと称す）に基づき、補正される
前の実際の画像の動き（以下、真の動きベクトルと称
す）を求める動きベクトル再生部である。２ｈは、真の
動きベクトルに基づき次フィールドでの真の動きベクト
ルを予測する予測部である。３ｈは、予測された次フィ
ールドの真の動きベクトルから補正量（以下補正ベクト
ルと称す）を決定する補正ベクトル決定部である。４ｈ
は、補正ベクトルに基づき、固体撮像素子駆動回路２、
及び、時間軸変換回路５を制御する信号をつくる制御信
号発生部である。同図（ｂ）は、１ｈ、２ｈ、３ｈをよ
り詳細に示したシグナルフロー図である。動きベクトル
再生部については、検出動きベクトルは前フィールドの
補正残りなので、真の動きベクトルは検出動きベクトル
に前フィールドの補正量を加えたものとなる。５ｈは１
フィールド遅延を表す。予測部については、次フィール
ドの真の動きベクトルは現在の真の動きベクトルと同じ
であると仮定した等速予測を用いた場合を示している。
決定部については、センタリング処理のみを行った場合
を示している。センタリングとは、固体撮像素子１の出
力画像範囲及び、時間軸変換回路５の出力画像範囲を、
光電変換された画像の範囲に対し中央に移動するように
補正ベクトルを加工する処理である。６ｈが固体撮像素
子１の出力画像範囲及び、時間軸変換回路６の出力画像
範囲の、光電変換された画像の範囲に対する情報であ
り、これからセンタリング量を決定する。また、等速予
測では、真の動きベクトルが高い周波数成分を持つと誤
差が大きくなるので、誤差を最も小さくする周波数（最
大抑圧周波数）をＤＣ以外に設定したアルゴリズムも考
えられる（等速予測がＤＣ成分の誤差を最小にするのは
言うまでもない）。（ｃ）にその１例を示す。７ｈは１
／２の乗算器である。このアルゴリズムの場合、７．５
Ｈｚで、最も抑圧率が大きくなる。もちろん、これらの
設定は、実使用状態での実写試験で決定されることとな
る。このような構成により、前記時間軸変換装置の出力
映像信号の画像から動きを除去するように、前記固体撮
像素子駆動装置及び、前記時間軸変換装置を制御するこ
とができる。

【００２２】（実施例２）図１０は、本発明の他の実施
例の構成を示したブロック図である。基本的には図１で
示した実施例と同じであるが、図１の構成に加えてフィ
ールドメモリとメモリコントローラが追加されている。
この構成の場合、前記検出動きベクトルをも補正するこ
とができ、より完璧な補正を行うことができる。

【００２３】

【発明の効果】以上詳細で説明したように、本発明で
は、余裕画素を持った固体撮像素子を用い、固体撮像素
子駆動装置及び、時間軸変換装置により、必要な画像の
範囲の映像信号を必要な画素数分だけ取り出すことによ
り、装置に規模や消費電力の増大を防ぎつつ解像度劣化
の無い手振れ補正装置を実現することができる。

【図面の簡単な説明】

【図１】本発明の手振れ補正装置の一実施例の構成を示
すブロック図

【図２】同実施例で用いる固体撮像素子の構成図

【図３】同実施例における固体撮像素子の通常の出力信
号のタイミングを示す図

【図４】同実施例における固体撮像素子の出力信号のタ
イミングチャート

【図５】同実施例の固体撮像素子駆動装置の構成図

【図６】同実施例の時間軸変換装置の構成図

【図７】同実施例における時間軸変換装置の入力信号と
出力信号のタイミングを示す図

【図８】同実施例で使うクロックの発生装置の構成図

【図９】同実施例の制御装置の構成を示すブロック図

【図１０】本発明の第２の実施例の構成を示すブロック
図

【図１１】従来の手振れ補正装置の構成を示すブロック
図

【符号の説明】

１ 固体撮像素子 ２ 固体撮像素子駆動回路 ３ アナログ信号処理回路 ４ アナログーデジタル変換回路 ５ 時間軸変換回路 ６ 画像動き検出回路 ７ 制御回路

Claims (8)

【特許請求の範囲】
1. 【請求項１】 固体撮像素子と、前記固体撮像素子から
   出力される映像信号に含まれる手振れ等による画像の動
   きを映像信号から検出する画像動き検出手段もしくは手
   振れ等による撮像装置の揺動を検出する加速度センサま
   たは角速度センサ等により成る揺動検出手段と、前記固
   体撮像素子で光電変換された画像の範囲よりも小さな範
   囲を前記固体撮像素子から映像信号として出力させるよ
   うに前記固体撮像素子を駆動する固体撮像素子駆動手段
   と、前記固体撮像素子からの映像信号を入力して映像信
   号の画像の範囲より小さな範囲に制限した映像信号を出
   力する映像信号処理手段と、前記画像動き検出手段もし
   くは前記揺動検出手段からの信号に基づいて前記映像信
   号処理手段の出力映像信号に手振れ等による画像の動き
   が含まれないように前記固体撮像素子駆動手段及び前記
   映像信号処理手段を制御する制御手段とを備え、前記映
   像信号処理手段の出力信号がテレビジョン規格で定めら
   れた放送方式の表示期間の全域に渡って出力されること
   を特徴とする手振れ補正装置。
2. 【請求項２】 映像信号処理手段の出力は、その数が映
   像信号処理手段の出力画像の範囲に相当する固体撮像素
   子上の画素数に一致する画素単位の離散信号であること
   を特徴とする請求項１記載の手振れ補正装置。
3. 【請求項３】 固体撮像素子駆動手段は、固体撮像素子
   の垂直電荷転送部に蓄えられた電荷のうち、上下部分で
   不要な画像の範囲に相当する電荷を垂直帰線期間内に排
   出し、必要な画像の範囲に相当する電荷をテレビジョン
   規格で定められた表示期間の全域に渡って映像信号とし
   て出力することを特徴とする請求項１及び請求項２記載
   の手振れ補正装置。
4. 【請求項４】 映像信号処理手段は、固体撮像素子の出
   力映像信号の水平１ライン分を全てを記憶し、記憶され
   た映像信号のうち水平方向で必要な画像の範囲の映像信
   号のみを、テレビジョン規格で定められた水平表示期間
   の全域に渡って出力できるように、記憶時の速度より遅
   い速度で読み出すようにした時間軸変換手段であること
   を特徴とする請求項１及び請求項２記載の手振れ補正装
   置。
5. 【請求項５】 映像信号処理手段は、固体撮像素子の出
   力映像信号の水平１ライン分のうち水平方向で必要な画
   像の範囲の映像信号のみを記憶し、記憶された映像信号
   をテレビジョン規格で定められた水平表示期間の全域に
   渡って出力できるように、記憶時の速度より遅い速度で
   読み出すようにした時間軸変換装置であることを特徴と
   する請求項１及び請求項２記載の手振れ補正装置。
6. 【請求項６】 時間軸変換手段は、記憶時の書き込み速
   度と出力時の読み出し速度の比が５：４であることを特
   徴とする請求項１ないし請求項４記載の手振れ補正装
   置。
7. 【請求項７】 時間軸変換手段は、記憶時の書き込み速
   度と出力時の読み出し速度の比が４：３であることを特
   徴とする請求項１ないし請求項４記載の手振れ補正装
   置。
8. 【請求項８】 時間軸変換手段は、記憶時の書き込み速
   度と出力時の読み出し速度の比が３：２であることを特
   徴とする請求項１ないし請求項４に記載の手振れ補正装
   置。