JP2792768B2 - 撮像装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画面の揺れを解消でき
る撮像装置に関する。

【０００２】

【従来の技術】従来の撮像装置では、撮像装置を手で持
って撮影を行ったときなどに生じる画面の揺れを解消す
るために、電荷結合デバイス（以下、ＣＣＤと称する）
などの撮像素子からの映像信号をディジタル映像信号に
変換してメモリに記憶し、ディジタル映像信号に基づい
て撮像装置の移動速度を検出する。そして、この検出結
果に基づいて撮像装置の移動量を求め、その移動量に応
じてメモリから映像信号を読み出すときのアドレスを変
化させて撮像装置の揺動に伴う画面の揺れを補正するよ
うに構成されている。

【０００３】図７は、上述した従来の撮像装置の一構成
例を示す。

【０００４】図７の撮像装置は、ＣＣＤ受光素子40、Ａ
／Ｄ変換器41、動き検出部42、計算部43、補間拡大部44
及びフィ−ルドメモリ45によって構成されている。

【０００５】次に、上記各構成部分の動作を説明する。

【０００６】ＣＣＤ受光素子40は、レンズを通じて入力
された被写体からの光を電気信号に変換して映像信号と
して出力する。

【０００７】Ａ／Ｄ変換器41は、ＣＣＤ受光素子40から
の映像信号をディジタル変換する。フィールドメモリ45
は、Ａ／Ｄ変換器41からディジタル映像信号を受け取っ
て、その受け取ったディジタル映像信号を記憶する。

【０００８】動き検出部42は、Ａ／Ｄ変換器41から出力
されるディジタル映像信号のうちの輝度信号を受け取
り、連続する２枚の画像の輝度信号から、ある画像が１
枚前の画像に対してどの方向にどれだけ動いたかを表す
速度ベクトルを求める。速度ベクトルを求める方法とし
ては、フィールド間やフレーム間のように一定の時間ご
とに速度ベクトルが求められるものであればよく、勾配
法、マッチング法、位相相関法などが用いられる。

【０００９】計算部43は、動き検出部42からの速度ベク
トルを積分することによって変位ベクトルを求め、更
に、その低域成分を抑圧することにより変位補正ベクト
ル（以下、単に補正ベクトルという）を求める。補間拡
大部44は、計算部43で求めた補正ベクトルに基づいてフ
ィ−ルドメモリ45から映像信号を読み出す場合の切り出
し位置を決め、フィ−ルドメモリ45から読み出した映像
信号に対して一定の倍率による画像の拡大補間処理を行
って、画像の動き補正が行われた映像信号を出力する。

【００１０】

【発明が解決しようとする課題】図８（ａ）は、パンニ
ング撮影を行う前の状態を示しており、右側の図のほぼ
中央部の点線で囲まれた領域が切り出され、動き補正後
の画像は右側の図のようになっている。この状態から撮
像装置を左にパンニングすると、切り出し範囲は右に移
動し、パンニングの速度が早い場合には図８（ｂ）のよ
うに、切り出し範囲は、メモリ領域の右端に張り付いた
状態となる。そして以降、図８（ｃ）のように切り出し
範囲は、メモリ領域の右端に張り付いたままであり、効
果的に画面の揺れを防止することは不可能となる。

【００１１】計算部43に設けられたフィルタは、このよ
うな問題を緩和するために設けられており、速度ベクト
ルを積分して得られる変位ベクトルに含まれるＤＣ成分
をカットするので、補正ベクトルが一定値に固定されな
い。しかし、パンニングやチルティングの速度が早い場
合や、手揺れが大きい場合には上述のように十分に対応
することができない。

【００１２】そこで、補正画像の切り出し位置が補正範
囲の端に到達した場合には、速度ベクトルを強制的に０
にする方法が考えられた。しかしこの方法では、実際に
撮像装置が動いているにも関わらず速度ベクトルを０に
してしまうので、補正画像の切り出し位置が補正範囲の
端に到達した瞬間に、画像にトビが生じてしまう。

【００１３】また、”純電子式画像揺れ補正システム”
（ITEJ TECHNICAL REPORT Vol.15,No.7, pp.43-48 ）に
は、補正ベクトルの値が補正範囲を越えないように、積
分した変位ベクトルに残り補正範囲に基づいて値を変え
る減衰率Ｋ（Ｋ≦１）をかけ、フィルタの周波数特性を
変えることによって、補正ベクトルが補正範囲を越えな
いようにする方法が提案されている（図９参照）。しか
し、この方法では、停止状態からパンニング撮影が始ま
り、速度ベクトルが一定で補正ベクトルの値が徐々に大
きくなった場合、その値が補正範囲の半分以上になると
ハイパスフィルタの周波数帯域が狭くなるので、補正ベ
クトルの値が大きくなる早さが鈍り、やがて飽和して一
定値に落ち着く。

【００１４】その飽和値は、そのとき外に向かう速度ベ
クトルの積分効果と係数Ｋとによる減衰効果を示す次式

【００１５】

【数１】

【００１６】によって決るが、飽和値によって係数Ｋが
変化するのでループが形成され、発振現象が生じる。図
１０はその様子を示すグラフであり、横軸は時間、縦軸
は補正ベクトルの値をそれぞれ表す。

【００１７】そして、時間と共に補正ベクトルの値が増
加するときには、値が大きくなるとその増加速度が遅く
なるが、最大値に到達した後、図１０のように発振状態
となる。その結果、補正後の画像は不自然な動きをする
ことになる。なお図中、点線はフィルタの周波数特性を
変化させない場合の補正ベクトル値の変化を示してい
る。

【００１８】従って、上述した従来の撮像装置では、停
止状態から撮像装置を左右どちらか一方に一定の速度で
動かしながら撮影するパンニング撮影を行ったとき、あ
るいは撮像装置を上下どちらか一方に一定の速度で動か
しながら撮影するチルティング撮影を行ったとき、補正
ベクトルの値が最大値または最小値に固定されてしま
い、画面の揺れを防止する効果が発揮されなくなるとい
う問題点がある。

【００１９】本発明は、上述した従来の撮像装置におけ
る問題点に鑑み、撮像装置を一定の方向に移動させた場
合にも十分な揺れ補正効果が得られ、かつ補正後の画像
が不自然な動きをすることがない撮像装置を提供するこ
とにある。

【００２０】

【課題を解決するための手段】本発明の撮像装置は、手
振れ量を速度ベクトルとして検出し画像の位置補正を行
う撮像装置において、上記速度ベクトルを積分して変位
ベクトルを求め、その低周波成分を抑圧して変位に対す
る補正ベクトルを生成する補正ベクトル生成手段と、上
記補正ベクトルの値と予め設定された最大値または最小
値との差を検出する検出手段と、上記補正ベクトルの値
が上記最大値と最小値との間にあるとき、検出された差
の値が所定値以上のときに１であり該差の値が減少する
に従って減少し該差の値が零のときに零となる可変値を
上記変位ベクトルに乗じて上記補正ベクトルを補正する
制御手段とを備えたことを特徴とする。

【００２１】

【作用】補正ベクトル生成手段は、手振れ量に対応した
速度ベクトルを積分して変位ベクトルを求め、その低周
波成分を抑圧して変位に対する補正ベクトルを生成し、
検出手段は、上記補正ベクトルの値と予め設定された最
大値または最小値との差を検出し、制御手段は、上記補
正ベクトルの値が上記最大値と最小値との間にあると
き、検出された差の値が所定値以上のときに１であり該
差の値が減少するに従って減少し該差の値が零のときに
零となる可変値を上記変位ベクトルに乗じて上記補正ベ
クトルを補正する。

【００２２】

【実施例】以下、図面を参照して本発明の撮像装置にお
ける実施例を説明する。

【００２３】図１は、本発明の撮像装置における主要部
である計算部の一実施例の構成を示す。

【００２４】図１の計算部10は、演算手段である積分部
11、制御手段であるゲインコントロール部12、フィルタ
である高域フィルタ（ハイパス・フィルタ、以下、Ｈ．
Ｐ．Ｆと称する）部13及び検出手段である残り補正範囲
検出部14によって構成されている。

【００２５】次に、上記各構成部分を説明する。

【００２６】積分部11は、後述する動き検出部からの速
度ベクトルを積分して変位ベクトルを出力する。

【００２７】Ｈ．Ｐ．Ｆ部13は、変位ベクトルの低域成
分を抑圧し、その結果を補正ベクトルとして出力する。

【００２８】ゲインコントロール部12は、積分部11から
出力された変位ベクトルに一定の値を乗じてＨ．Ｐ．Ｆ
部13に出力するが、変位ベクトルに乗じる値を、後述す
る残り補正範囲検出部14の検出結果に基づいて変化させ
る。

【００２９】具体的に説明すると、ゲインコントロール
部12は、変位ベクトルに乗じる値（ゲイン）を図２に示
すように変化させる。即ち、補正ベクトルの値が−（Ｍ
ＡＸ−ｎ）〜（ＭＡＸ−ｎ）の範囲内にあるときには、
ゲインを１とし、補正ベクトルの値が（ＭＡＸ−ｎ）を
越えてＭＡＸ（最大値）に至る範囲では、ゲインを１か
ら０に直線的に減少させ、また、補正ベクトルの値が−
（ＭＡＸ−ｎ）から−ＭＡＸ（最小値）に至る範囲でも
ゲインを１から０に直線的に減少させる。

【００３０】残り補正範囲検出部14は、Ｈ．Ｐ．Ｆ部13
から出力される補正ベクトルを受け取って、受け取った
補正ベクトルの値と補正ベクトルの最大値または最小値
との差を検出する。

【００３１】上述した計算部10の特性を数式で表すと次
式のようになる。

【００３２】

【数２】

【００３３】フィルタ係数Ｋｘの値が残り補正範囲検出
部14の検出結果に応じて変えられるので、図２に示した
ような特性が実現される。

【００３４】１フィ−ルド毎に入力される速度ベクトル
は積分部11で積分され、積分部11を通った値は、ゲイン
コントロ−ル部12、Ｈ．Ｐ．Ｆ部13を介して補正ベクト
ルとして出力される。このときに、補正ベクトルの値が
残り補正範囲検出部14で補正ベクトル値が補正範囲の残
り画素を判定してフィルタ係数を調整する。実際に調整
を行なうのはゲインコントロ−ル部12である。

【００３５】フィルタのゲインコントロ−ルは、図２に
示すように補正範囲の中心を０とした場合、補正範囲の
最大値（ＭＡＸ）から、ある値（ｎ）を引いた値（ＭＡ
Ｘ−ｎ）まで、図２における−（ＭＡＸ−ｎ）から（Ｍ
ＡＸ−ｎ）までの間であるとハイパスフィルタの係数を
１とし、補正範囲の最大値（ＭＡＸ）から（ＭＡＸ−
ｎ）の間では、０以上１以下の値をとる。図２の場合、
最大値に近付くにつれ、フィルタ係数は、それに比例し
て小さくなり、補正ベクトルが最大値になったとき、フ
ィルタ係数が０になる。

【００３６】パンニング撮影などが行われない通常の状
態では、積分部11は動き検出部（後述する）から出力さ
れた速度ベクトルを積分して変位ベクトルを出力する。

【００３７】ゲインコントロール部12は、積分部11から
出力された変位ベクトルをそのまま（即ち１を乗じて）
Ｈ．Ｐ．Ｆ部13に出力する。

【００３８】Ｈ．Ｐ．Ｆ部13は、ゲインコントロール部
12からの変位ベクトルの低域成分を抑圧し、補正ベクト
ルとして出力する。この補正ベクトルの値にもとづい
て、フィールドメモリ（後述する）における画像の切り
出し範囲が調整され、撮像装置の揺動に伴う画像の揺れ
が補正される。

【００３９】この状態では、補正ベクトルの値はあまり
大きくなく、通常、−（ＭＡＸ−ｎ）〜（ＭＡＸ−ｎ）
の範囲内にあるので、補正ベクトルの値と、その最大値
あるいは最小値との差は大きいので、ゲインコントロー
ル部12は、上述のように変位ベクトルに乗じる値を１と
する。

【００４０】他方、例えばパンニング撮影が行われ、
Ｈ．Ｐ．Ｆ部13が出力する補正ベクトルの値が大きくな
り、最大値ＭＡＸとの差が小さくなると、ゲインコント
ロール部12は、残り補正範囲検出部14の検出結果に基づ
いて変位ベクトルに乗じる値を１以下とする。その結
果、補正ベクトルの値は抑えられ、フィールドメモリ
（後述する）において補正画像の切り出し範囲がメモリ
領域の端に張り付くことを防止できる。

【００４１】次に、図３のフロ−チャ−トを参照して図
１の計算部10の動作を説明する。

【００４２】まず、現フィ−ルドで求めた速度ベクトル
と前フィ−ルドで求めた速度ベクトルとを加算し（ステ
ップＳ１）、加算した結果に高域フィルタリングを施し
て補正ベクトルを算出し（ステップＳ２）、得られた補
正ベクトルが補正範囲外であるか否かを判定し（ステッ
プＳ３）、上記ステップＳ３でＹＥＳの場合にはフィル
タ係数を０に設定すると共に補正ベクトルを最大値に設
定して（ステップＳ４）、その補正ベクトルを出力する
（ステップＳ５）。

【００４３】他方、上記ステップＳ３でＮＯの場合に
は、補正ベクトルが補正範囲内であり中心値から補正範
囲最大値からある値を引いた範囲にあるか否かを判定し
（ステップＳ６）、上記ステップＳ６でＹＥＳの場合に
はフィルタ係数を１に設定して（ステップＳ７）、補正
ベクトルを出力する（ステップＳ８）。

【００４４】また、上記ステップＳ６でＮＯの場合に
は、補正ベクトルがどれだけ補正範囲の最大値に近いか
によりフィルタ係数を可変して（ステップＳ９）、補正
ベクトルを出力する（ステップＳ10）。

【００４５】図４は、図１の計算部10を備えた撮像装置
における一実施例の構成を示す。

【００４６】図４の撮像装置は、ＣＣＤ受光素子15、Ａ
／Ｄ変換器16、動き検出部17、計算部10、補間拡大部18
及びフィ−ルドメモリ19によって構成されている。

【００４７】次に、上記各構成部分の動作を説明する。

【００４８】ＣＣＤ受光素子15は、レンズを通じて入力
された被写体からの光を電気信号に変換して映像信号と
して出力し、Ａ／Ｄ変換器16は、ＣＣＤ受光素子15から
の映像信号をディジタル変換する。

【００４９】フィールドメモリ19は、Ａ／Ｄ変換器16か
らディジタル映像信号を受け取って、その受け取ったデ
ィジタル映像信号を記憶する、動き検出部17は、Ａ／Ｄ
変換器16から出力されるディジタル映像信号のうちの輝
度信号を受け取り、連続する２枚の画像の輝度信号か
ら、ある画像が１枚前の画像に対してどの方向にどれだ
け動いたかを表す速度ベクトルを求める。速度ベクトル
を求める方法としては、フィールド間やフレーム間のよ
うに一定の時間ごとに速度ベクトルが求められるもので
あればよく、勾配法、マッチング法、位相相関法などが
用いられる。

【００５０】計算部10は、上述したように動き検出部17
からの速度ベクトルを積分することによって変位ベクト
ルを求め、更にその低域成分をハイパスフィルタによっ
て抑圧することにより変位補正ベクトル（以下、単に補
正ベクトルという）を求める。なお、低域成分を抑圧す
るのは、補正ベクトルを補正範囲の中心に戻すためであ
る。

【００５１】補間拡大部18は、計算部10で求めた補正ベ
クトルに基づいて、フィ−ルドメモリ19から映像信号を
読み出す場合の切り出し位置を決め、フィ−ルドメモリ
19から読み出した映像信号に対して一定の倍率による画
像の拡大補間処理を行い、画像の動き補正が行われた映
像信号を出力する。

【００５２】図５は、図１の計算部10における具体的な
構成例をしめす。

【００５３】図５の計算部は、乗算器20，25、加算器2
2、フリップフロップ24、絶対値差分器27，28、比較器2
9、セレクタ30及びＲＯＭ31によって構成されている。

【００５４】次に、図５の計算部の動作を説明する。

【００５５】ます、次式

【００５６】

【数３】

【００５７】を計算するために速度ベクトル（Ｘｎ：ｌ
ビット）とＲＯＭ31からの出力デ−タＫｘ：６ビット）
とを乗算して、下位６ビットを切り捨て上位ｌビットを
取り出すことにより、式（１）の第２項｛Ｘｎ＊（Ｋｘ
／64）｝を計算することができる。

【００５８】その出力を加算器22に入力し、式（１）の
第１項｛Ｙ_ｎ−１＊（63／64）｝の計算結果と加算を行
なう。加算結果の一方を下位６ビットを切り捨て上位ｌ
ビットを取り出し補正ベクトルとして出力する。加算結
果の他方を63倍を行なう乗算器25で63倍し、下位６ビッ
トを切り捨て上位ｌビットを取り出すことにより式
（１）の第１項を算出する。

【００５９】出力される補正ベクトルが絶対値差分器2
7，28に入力されると、絶対値差分器27の端子Ａ及び絶
対値差分器28の端子Ａにはそれぞれ、補正範囲の正の最
大値（ａ）と負の最大値（−ａ）が入力されており、そ
れらの計算結果は、比較器29で比較され小さい値の方が
セレクタ30によって選択される。セレクタ30の出力がＲ
ＯＭ31の内部でテ−ブル変換などにより出力デ−タＫｘ
の値を出力する。

【００６０】上記のデ−タ変換の一例を表１に示す。

【００６１】

【表１】

【００６２】図６は、フィ−ルドメモリ19からどのよう
に映像信号が読み出されるかを概念的に示す。

【００６３】図６（ａ）に示す実線で囲まれた領域は、
フィールドメモリ19に格納された映像信号が表す画像全
体であり、点線で囲まれた領域がフィールドメモリ19か
ら取り出される画像部分である。

【００６４】補間拡大部18は、計算部10から与えられた
補正ベクトルによって決る点Ｐを読み出す画像の左上の
位置、即ち、画像の切り出し位置として点線で囲まれた
領域の画像の映像信号をフィ−ルドメモリ19から読み出
す。

【００６５】補間拡大部18は、読み出した映像信号に対
して、画像が図６（ｂ）のように拡大されるように画像
の拡大補間処理を行い、その結果を動き補正後の映像信
号として出力する。このように、撮像装置の移動量に応
じて点Ｐの位置が変えられ、撮像装置の揺動に伴う画面
の揺れが補正される。

【００６６】点Ｐの取り得る値は、フィールドメモリ19
全体から読み出す映像信号が表す画像の大きさによって
変る。画像の水平方向の長さをＸ、垂直方向の長さを
Ｙ、切り出す画像の水平方向の長さをｘ、垂直方向の長
さをｙとすると、点Ｐの取り得る値は、水平方向（Ｘ−
ｘ）、垂直方法（Ｙ−ｙ）の範囲となる。また、拡大率
は水平方向ではＸ／ｘ、垂直方向ではＹ／ｙとなる。

【００６７】動き検出部17が２枚の画像間の相関に基づ
いて速度ベクトルを求める場合を説明したが、角速度セ
ンサを用いて速度ベクトルを求めてもよい。即ち、撮像
装置本体に角速度センサを取り付けて、その出力を速度
ベクトルとして用いる。その場合には、Ａ／Ｄ変換器16
が出力する映像信号に含まれる同期信号を角速度センサ
に与えて、その同期信号に同期させて速度ベクトルを出
力する。

【００６８】

【発明の効果】本発明の撮像装置によれば、補正ベクト
ルの値が予め設定された最大値と最小値との間にあると
き、補正ベクトルの値と最大値または最小値との差が所
定値以上のときに１であり差の値が減少するに従って減
少し差の値が零のときに零となる可変値を変位ベクトル
に乗じて補正ベクトルを補正するので、撮像装置を一定
の方向に移動させた場合にも、手振れ補正機能とパンニ
ングあるいはチルティング時の補正停止を自然に切り替
えることができ、補正後の画像が自然な動きをする。

【図面の簡単な説明】

【図１】本発明の撮像装置における主要部である計算部
の構成の一実施例を示すブロック図である。

【図２】図１の計算部を構成するゲインコントロール部
の特性を示すグラフである。

【図３】図１の計算部の動作を説明するためのフロ−チ
ャ−トである。

【図４】図１の計算部を備えている撮像装置の一実施例
の構成を示す図である。

【図５】図１の計算部の具体的な構成を示す図である。

【図６】図４の撮像装置を構成するフィールドメモリ部
からどのように映像信号が読み出されるかを説明するた
めの図である。

【図７】従来の撮像装置の一例を示すブロック図であ
る。

【図８】図７の撮像装置の問題点を説明するための図で
ある。

【図９】図７の撮像装置を構成するハイパスフィルタの
特性と、画像の揺れ補正との関係を示すグラフである。

【図１０】従来の他の撮像装置における問題点を説明す
るためのグラフである。

【符号の説明】

10 計算部 11 積分部 12 ゲインコントロール部 13 Ｈ．Ｐ．Ｆ部 14 残り補正範囲検出部 15 ＣＣＤ撮像素子 16 Ａ／Ｄ変換器 17 動き検出部 18 補間拡大部 19 フィールドメモリ

フロントページの続き (72)発明者 山根 康邦 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (56)参考文献 特開 平３−216079（ＪＰ，Ａ) 特開 平３−204280（ＪＰ，Ａ) 特開 平２−246680（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) H04N 5/232

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 手振れ量を速度ベクトルとして検出し画
   像の位置補正を行う撮像装置において、 上記速度ベクトルを積分して変位ベクトルを求め、その
   低周波成分を抑圧して変位に対する補正ベクトルを生成
   する補正ベクトル生成手段と、上記補正ベクトルの値と
   予め設定された最大値または最小値との差を検出する検
   出手段と、上記補正ベクトルの値が上記最大値と最小値
   との間にあるとき、検出された差の値が所定値以上のと
   きに１であり該差の値が減少するに従って減少し該差の
   値が零のときに零となる可変値を上記変位ベクトルに乗
   じて上記補正ベクトルを補正する制御手段とを備えたこ
   とを特徴とする撮像装置。
2. 【請求項２】 上記制御手段は、上記可変値を記憶する
   記憶手段を含むことを特徴とする請求項１に記載の撮像
   装置。