JP3053681B2 - 手振れ補正装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は撮像装置の手振れ補正装
置に関するものである。

【０００２】

【従来の技術】近年、カメラ一体型ＶＴＲの普及と共
に、その小型，軽量化，高倍率ズーム化が進んでいる。
これらの改良に伴い、手持ち撮影による画像の揺れが増
加するため、種々の手振れ補正方式が提案されている。

【０００３】カメラ一体型ＶＴＲ等の撮像装置に用いら
れている従来の手振れ補正装置について、その数例を簡
単に説明する。図６は撮像装置の従来の手振れ補正装置
の第１の例を示すブロック図である。本図において、ま
ず撮像素子１は撮像視野内の被写体を画素単位に電気信
号に変換するもので、その出力信号は動きベクトル検出
回路２とメモリ回路３に与えられる。動きベクトル検出
回路２は撮像素子１から得られるフィールド又はフレー
ム毎の画像情報を処理し、画面中の画像の動きが被写体
自身の動きによるものか、又は手振れによる動きかを判
断するものである。そして手振れによる動きの場合その
移動量をベクトル情報として出力する。

【０００４】メモリ回路３は各フィールド毎の画像信号
を記憶する。メモリ制御回路４はこのベクトル情報に応
じてメモリ回路３からの画像信号の読み出し位置を変
え、画像信号の一部分を切り出して読み出す。そして信
号処理回路５は位置補正された画像信号から輝度信号や
色信号等の信号処理を施し、その出力を電子ズーム回路
６に与える。電子ズーム回路６は、切り出しによって位
置補正された画像を表示画面の表示領域まで電気的に拡
大して出力する。この動作を各フレーム毎に繰り返すこ
とによって手振れ補正を行っている。

【０００５】次に図７は撮像装置の従来の手振れ補正装
置の第２の例を示すブロック図である。この手振れ補正
装置は電子ズームよる位置補正を行わず、後述する方法
で手振れ補正を行っている。図７において撮像素子１１
は、例えばＣＣＤイメージセンサであり、複数の光電変
換素子が２次元に配列されたもので、その全領域を撮像
領域Ｐ０とする。有効走査領域Ｐ１とは撮像視野内の画
像を画像信号として出力する表示領域であり、撮像領域
の大半以上を占めるものである。補正領域Ｐ２とは撮像
領域Ｐ０から有効走査領域Ｐ１を除去した部分で、一般
に手振れによる動きベクトル量をカバーする幅を有して
いる。動きベクトル検出回路１２及び信号処理回路１３
は、夫々図６に示した動きベクトル検出回路２及び信号
処理回路５と同一の動作をするものである。動きベクト
ル検出回路１２の出力は走査領域制御回路１４に与えら
れ、撮像素子１１は駆動回路１５により制御されるよう
構成されている。

【０００６】本図においてその動作を説明すると、ま
ず、撮像素子１１の出力する画像信号を信号処理回路１
３で輝度信号や色信号の処理を行う。又、撮像素子１１
の出力は動きベクトル検出回路１２にも与えられ、動き
ベクトル検出回路１２は手振れによる動きベクトルを検
出する。走査領域制御回路１４はこの動きベクトルが零
となるように撮像領域Ｐ０内に有効走査領域Ｐ１の位置
決めを行う。この結果を駆動回路１５に指示し、この指
示によって有効走査領域Ｐ１を移動させて撮像素子１１
を駆動する。このとき有効走査領域Ｐ１から得られる画
像信号は手振れ補正されたものとなり、この動作を各フ
レーム毎に繰り返すことによって手振れ補正を行う。そ
してこの画像信号は信号処理回路１３を介して図示しな
い磁気記録再生部に与えられる。

【０００７】更に、図８は撮像装置に用いられる従来の
手振れ補正装置における第３の例を示すブロック図であ
る。本図において撮像素子２１，駆動回路２２，動きベ
クトル検出回路２３，信号処理回路２６は、夫々図７に
示す撮像素子１１，駆動回路１４，動きベクトル検出回
路１２，信号処理回路１３と同一の動作を行うものであ
る。ここでメモリ回路２４は撮像素子２１の映像信号を
一時保持するものである。又、メモリ制御回路２５は動
きベクトル検出回路２３が検出したベクトル情報によっ
て有効走査領域Ｐ１を移動させ、メモリ回路２４から位
置補正した画像信号を出力させるものである。

【０００８】本図においてその動作を説明すると、ま
ず、撮像素子２１の出力する画像信号をメモリ回路２４
と動きベクトル検出回路２３に与える。メモリ回路２４
は１フィールドの画像信号を保持し、動きベクトル検出
回路２３は手振れによる動きベクトルを検出する。メモ
リ制御回路２５は、この検出した動きベクトル量によっ
てメモリ回路２４に保持された撮像領域Ｐ０から有効走
査領域Ｐ１を手振れを補正できる方向に移動させて、画
像信号を読み出す。そして位置補正された画像信号を信
号処理回路２６に与えて信号処理を行い、この動作を各
フレーム毎に繰り返すことによって手振れ補正を行う。
そしてこの画像信号は図示しない磁気記録再生部に与え
られ、手振れ補正された画像が記録される。

【０００９】

【発明が解決しようとする課題】しかしこのような従来
の構成では次のような問題点を有していた。即ち第１の
従来例では、電子ズーム回路６によって位置補正された
画像信号を表示領域まで拡大している。このため撮像素
子１で得られた画像信号の画素が荒くなり、補正画像の
画質劣化が大きいという問題点があった。

【００１０】又、第２及び第３の従来例では、手振れ補
正を行うために有効走査領域Ｐ１を撮像領域Ｐ０内で移
動させて位置補正を行っている。ところが位置補正量が
撮像領域Ｐ０の水平走査ライン間隔の整数倍となり、垂
直方向の読み出し精度が水平走査の１ライン以下の精度
に収めることができなかった。このため正確な手振れ補
正ができなかった。

【００１１】本発明はこのような従来の問題点に鑑みて
なされたものであって、垂直方向の読み出し精度が水平
走査の１ライン以下の精度を確保でき、画質劣化の少な
い安定した画質を有する撮像装置の手振れ補正装置を提
供することを目的とする。

【００１２】

【課題を解決するための手段】本発明は被写体の画像を
インターレース走査により画像信号に変換すると共に、
画像の撮像領域内において移動自在の有効走査領域から
画像信号を出力する撮像素子と、撮像素子を含む撮像装
置の手振れによる画像動きベクトルを検出する動きベク
トル検出回路と、動きベクトル検出回路が検出した垂直
方向の動きベクトルの水平走査ライン単位での整数部だ
け有効走査領域を上下方向に移動させる共に、該動きベ
クトルの小数部の値によって撮像素子から同時に読み出
された隣接水平画素列の組合せを上下に切り換えて撮像
素子を駆動する走査領域制御回路と、動きベクトル検出
回路により検出された垂直方向の動きベクトルの小数部
の値に応じた補間係数で画像信号の補間処理を行う補間
処理回路と、具備することを特徴とするものである。

【００１３】

【作用】このような特徴を有する本発明によれば、動き
ベクトル検出回路が検出した動きベクトルの整数部によ
り有効走査領域を移動させ、手振れを１ライン単位の精
度で補正する。更に動きベクトル検出回路が検出した垂
直方向の動きベクトルの小数部の値によって、水平走査
で同時に読み出して得られる隣接した水平画素列の組合
せを上下に切り換えると共に、補間回路は動きベクトル
検出回路が検出した垂直方向動きベクトルの小数部の値
に応じた補間係数で補間処理を行うようにしている。

【００１４】

【実施例】以下本発明の一実施例について、図面を参照
しながら説明する。図１は本実施例における撮像装置の
手振れ補正装置の構成を示すブロック図である。尚、従
来例を示す図６〜図８と同一部分は同一の名称を附し詳
細な説明は省略する。図１において、撮像素子３１は例
えばＣＣＤイメージセンサのように複数の光電変換素子
が２次元に配列された固体撮像素子である。撮像素子３
１は光学系を介して撮像できる被写体の全領域をカバー
する撮像領域Ｐ０と、撮像視野内の映像を表示装置に与
える有効走査領域Ｐ１と、撮像領域Ｐ０から有効走査領
域Ｐ１を除去した補正領域Ｐ２とで構成されている。補
正領域Ｐ２は有効走査領域Ｐ１が撮像視野内で移動可能
になる領域で、一般に手振れによる動きベクトル量をカ
バーする幅を有している。撮像素子３１の出力は動きベ
クトル検出回路３２及び信号処理回路３３に与えられ
る。

【００１５】動きベクトル検出回路３２は、例えば撮像
素子３１の撮像領域Ｐ０に複数の切り出し枠を設定し、
各切り出し枠内の代表点から得られる画像の動きをフィ
ールド毎に捉え、動きベクトルを検出するものである。
又動きベクトル検出回路３２はこのフイールド毎の画像
情報を周知の方法によって処理し、画面中の映像の動き
が被写体自身の動きによるものか、又は手振れによる動
きかを判断する。そして手振れによる動きの場合、その
移動量をベクトル情報として出力する。この動きベクト
ルは撮像領域Ｐ０に対し、水平方向及び垂直方向の成分
を有しているが、水平方向の位置補正は走査した画像信
号を遅延回路等を用いて遅延させることで簡単に補正で
きる。本実施例は高精度の補正が困難といわれている垂
直方向の位置補正を行う検出回路としている。

【００１６】さて、信号処理回路３３は撮像素子３１の
出力から輝度信号や色信号等を生成する回路であり、そ
の出力は後述する補間回路３４に与えられる。走査領域
制御回路３５は撮像素子３１を駆動する回路で、有効走
査領域Ｐ１を撮像領域Ｐ０内で移動可能に制御するもの
である。制御部３６は動きベクトル検出回路３２より得
られるベクトル情報から、垂直走査方向の成分が走査ラ
インのピッチを基本単位として何ライン分であるかを小
数の桁まで演算して、その結果に基づく制御信号を発生
するものであり、その出力は走査領域制御回路３５及び
補間計数発生回路３７に与えられる。

【００１７】補間回路３４は信号処理回路３３からの出
力信号に補間処理を行うもので、奇数フィールド又は偶
数フィールド内で隣接する走査ラインの画像信号ペアに
補間重み係数（以下補間係数とい）を乗算して加算する
回路である。補間係数発生回路３７は各フィールド内で
隣接する２つの走査ライン信号に対する補間係数ｗ，
（１ーｗ）を制御部３６からの指令に基づいて演算する
回路であり、その出力は補間回路３４に与えられる。こ
こで補間回路３４及び補間計数発生回路３７は動きベク
トル検出回路３２が検出した垂直方向動きベクトルの小
数部の値に応じた補間係数で画像信号の補間処理を行う
補間処理回路を構成しているものとする。

【００１８】以上のように構成された本実施例の手振れ
補正装置の動作について図１〜図４を用いて説明する。
図２は撮像素子３１からの信号の読出方法を説明した模
式図である。図２において撮像素子３１の光電変換素子
が２次元に配列されており、ラインｋには、素子Ｃk,1
，Ｃk,2 ，・・Ｃk,m 、ラインｎには、素子Ｃn,1 ，
Ｃn,2 ，・・Ｃn,m 、次のラインｋ＋１には、素子Ｃk+
1,1 ，Ｃk+1,2 ，・・Ｃk+1,m 、ラインｎ＋１には、素
子Ｃn+1,1 ，Ｃn+1,2 ，・・Ｃn+1,m が夫々位置してい
るものとする。

【００１９】通常撮像素子３１の読み出しは２つのモー
ドを有している。即ち、パターンＡに示すように、素子
Ｃk,1 ，Ｃk,2 ，・・Ｃk,m の各出力と、素子Ｃn,1 ，
Ｃn,2 ，・・Ｃn,m の各出力を加え、又素子Ｃk+1,1 ，
Ｃk+1,2 ，・・Ｃk+1,m の各出力と、素子Ｃn+1,1 ，Ｃ
n+1,1 ，・・Ｃn+1,m の各出力を加え、加算出力の平均
を夫々取り出す方法がある。又、パターンＢに示すよう
に素子Ｃn,1 ，Ｃn,2，・・Ｃn,m の各出力と、素子Ｃk
+1,1 ，Ｃk+1,2 ，・・Ｃk+1,m の各出力を加え、同じ
く次の２ラインの各出力を加え、加算出力の平均を夫々
取り出す方法がある。このようにパターンＡ、パターン
Ｂの読出方法は、互いに撮像素子３１から１回の水平走
査で隣接する２つの水平画素列の組合せを上下に１画素
ずらして同時に読み出すものである。

【００２０】さて、撮像素子３１からの信号は信号処理
回路３３で画像信号として出力される。又、動きベクト
ル検出回路３２は手振れによる動きベクトルを検出し、
この動きベクトル情報を制御部３６に与える。制御部３
６は走査領域制御回路３５に指示を与え、検出された垂
直方向の動きベクトル量の整数部の大きさによって、ま
ず１ライン単位の精度で手振れ補正する。走査領域制御
回路３５は有効走査領域Ｐ１を垂直走査方向の上又は下
方向へ所定ラインだけ移動させる。更に、制御部３６は
動きベクトル検出回路３２が検出したベクトル量の小数
部の値によって、１回の水平走査で同時に読み出す２つ
の隣接する水平画素列の組合せを上下に切り換え、撮像
素子３１を駆動する。制御部３６は同時に検出された動
きベクトルの小数部により、１ライン未満の手振れ補正
を行う補間処理をするため、補間係数発生回路３７に小
数部の信号を送る。補間回路３４では信号処理回路３３
の出力に１ライン未満の手振れ補正を行うための補間処
理を行う。各フレーム毎にこの動作を繰り返して、手振
れ補正された画像信号を出力する。

【００２１】ここで動きベクトルに応じて撮像素子３１
を駆動する走査領域制御回路３５の動作原理について詳
しく説明する。図３は本実施例における撮像素子３１の
読出による撮像領域Ｐ０の構成を示した模式図であり、
矢印Ｖは手振れによる動きベクトルを表している。ここ
では動きベクトル量の小数部の有無により、図３
（ａ），（ｂ）に示す２種類の位置補正が実行される。

【００２２】（１）手振れが生じなかった場合は、動き
ベクトル検出回路３２で検出される動きベクトル量がゼ
ロである。前フィールドから有効走査領域Ｐ１を移動さ
せないで、図２に示すパターンＡ、パターンＢをフィー
ルド周期で交互に読み出し、直接その結果を信号処理回
路３３及び補間回路３４を介して出力する。

【００２３】（２）手振れが生じた場合で、垂直方向の
動きベクトル量の小数部がゼロのときには、走査領域制
御回路３５が有効走査領域Ｐ１を水平走査ラインの整数
倍だけ移動させる。この場合垂直方向動きベクトルの小
数部がゼロであるため、図３（ａ）に示すように撮像領
域Ｐ０の走査ラインと有効走査領域Ｐ１の境が一致す
る。したがって有効走査領域Ｐ１を移動させてから、通
常の読み出と同様にパターンＡ、パターンＢをフィール
ド周期で交互に読み出す。即ち、図３（ａ）において前
フィールドでの読出方法がパターンＡならば現フィール
ドの読出開始点は位置ＰＢとなり、読出し方法はパター
ンＢとなる。前フィールドでの読出方法がパターンＢな
らば現フィールドの読出開始点は位置ＰＡで読出方法は
パターンＡとなる。

【００２４】（３）手振れが生じた場合で、垂直方向の
動きベクトルの小数部がゼロでないときには、検出され
た動きベクトル量に応じて有効走査領域Ｐ１を移動さ
せ、移動した有効走査領域Ｐ１において前フィールドと
は異なるパターンで読み出を行う。小数部がゼロでない
ので図３（ｂ）に示すように、移動した有効走査領域Ｐ
１の境と撮像領域Ｐ０の走査ラインとは一致しない。こ
のため垂直方向の動きベクトルの小数部で表される割合
の場所に走査ラインを移動させ、次に述べる演算により
補間する。

【００２５】図４は撮像素子３１の画像信号を１回の水
平走査で同時に読み出すとき、隣接する２つの水平画素
列の組合せを上下に切り換える方法を示す模式図であ
る。即ち、垂直方向の動きベクトルの小数部の値に応じ
て、補間して得るべき有効走査領域の第１走査ラインの
位置は図４の領域ａ，ｂ，ｃ，ｄのいずれかに含まれ
る。この内第１走査ラインがどの領域に含まれるかによ
り、読出パターン及び読出開始位置を制御する。補間し
て得るべき第１走査ラインが領域ａ又はｄに含まれる場
合、読み出しはパターンＡとし、図中のｋラインから画
像信号を読み出す。又、補間して得るべき第１走査ライ
ンが領域ｂ又はｃに含まれる場合、読み出しをパターン
Ｂとし、領域ｂに含まれる場合はｎ−１ラインより画像
信号の読み出を開始し、領域ｃに含まれる場合はｎライ
ンより画像信号の読み出しを開始する。そして、読み出
された走査ラインと補間ラインとの距離により、補間す
べき画像信号の補間係数を決定する。

【００２６】このようにして読出ラインおよび読出パタ
ーンを切り換えて読み出しを行えば、補間回路３４で２
つの入力ラインより補間する場合、その補間位置は常に
どちらかのラインから、ライン間隔の２５％以内に位置
することになり、垂直走査方向に近接する側の画像信号
を補間に用いることができる。したがって、第１の従来
例のように、電子ズーム回路により画像信号が２つの入
力ラインの中央付近で補間されることはなくなり、補間
ラインの垂直周波数レスポンス特性の劣化が少なく良好
な画質が得られる。加えて、補間処理することにより１
ライン未満の手振れについても補正が行われているた
め、画質劣化の少ない安定した画質の手振れ補正を行な
うことができる。

【００２７】尚、図１において、動きベクトル検出回路
３２は撮像素子３１から動きベクトル情報を得るとした
が、撮像装置自身の振動を検知する他の手振れ動きベク
トル検出器を設けて、これよりベクトル量を入力するも
のであってもよい。又信号処理回路３３を補間回路３４
の前に設ける必要はなく、図５に示すように信号処理回
路３３を補間回路３４の後に設け、補正後の画像信号に
対し、輝度信号処理及び色信号処理を行ってもよい。こ
のため各回路の動作説明は、その順序が異なるだけで前
記したものと同様であるので省略する。更に、撮像素子
３１は、例えばＣＣＤイメージセンサとしたが、如何な
る撮像素子を用いても前述した２つの走査方法に切り替
えられるものであれば、本発明を適用できることは言う
までもない。

【００２８】

【発明の効果】以上説明したように本発明によれば、動
きベクトル検出回路が検出した動きベクトルの整数部に
より、手振れを１ライン単位の精度で補正するように有
効走査領域を移動させている。更に動きベクトル検出回
路が検出した垂直方向の動きベクトルの小数部の値によ
って、撮像素子から１回の水平走査で同時に読出す隣接
した水平画素列の組合せを上下に切り換えると共に、補
間回路は動きベクトル検出回路が検出した垂直方向の動
きベクトルの小数部の値に応じた補間係数で補間処理を
行っている。このため垂直方向の読み出し精度が水平走
査の１ライン以下の精度を確保でき、画質劣化の少ない
安定した画質を有する撮像装置の手振れ補正装置を実現
することができる。

【図面の簡単な説明】

【図１】本発明の実施例における手振れ補正装置の構成
を示すブロック図である。

【図２】本実施例における撮像素子からの信号の読出方
法を示した模式図である。

【図３】本実施例の読み出しにおける撮像領域の構成を
示す説明図である。

【図４】本実施例において水平走査で同時に読み出す水
平画素列の組合せを、上下に切り換える方法を説明した
模式図である。

【図５】本発明の他の実施例における手振れ補正装置の
構成を示すブロック図である。

【図６】従来の第１の手振れ補正装置の構成を示すブロ
ック図である。

【図７】従来の第２の手振れ補正装置の構成を示すブロ
ック図である。

【図８】従来の第３の手振れ補正装置の構成を示すブロ
ック図である。

【符号の説明】

３１ 撮像素子 ３２ 動きベクトル検出回路 ３３ 信号処理回路 ３４ 補間回路 ３５ 走査領域制御回路 ３６ 制御部 ３７ 補間係数発生回路 Ｐ０ 撮像領域 Ｐ１ 有効走査領域 Ｐ２ 補正領域

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/232 G03B 5/00

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 被写体の画像をインターレース走査によ
   り画像信号に変換すると共に、前記画像の撮像領域内に
   おいて移動自在の有効走査領域から画像信号を出力する
   撮像素子と、 前記撮像素子を含む撮像装置の手振れによる画像動きベ
   クトルを検出する動きベクトル検出回路と、 前記動きベクトル検出回路が検出した垂直方向の動きベ
   クトルの水平走査ライン単位での整数部だけ前記有効走
   査領域を上下方向に移動させる共に、該動きベクトルの
   小数部の値によって前記撮像素子から同時に読み出され
   た隣接水平画素列の組合せを上下に切り換えて前記撮像
   素子を駆動する走査領域制御回路と、 前記動きベクトル検出回路により検出された垂直方向の
   動きベクトルの小数部の値に応じた補間係数で画像信号
   の補間処理を行う補間処理回路と、具備することを特徴
   とする手振れ補正装置。