JPH01125064A - ゆれ補正撮像装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 章業上の利用分野 本発明は小型化の進むカメラ特に手に持って撮像するよ
うな小型、軽量のビデオカメラなど撮像装置において、
画面ゆれ補正機能を備えたゆれ補正撮像装置に関するも
のである。

従来の技術 従来の画面ゆれ補正のための技術は、例えばテレビジ町
ン学会技術報告ＶｏＬ、１１４３（１９８７年６月）ｐ
４３〜ｐ４８［画面ゆれ補正装置について」に示されて
いる。第７図はこの従来の画面ゆれ補正装置の構成を示
すブロック図である。第７図において、１０．１はアナ
ログ−ディジタル変換器（以下Ａ／ＩＪ変換器と称す）
、１０２は入力信号を書込み、読出すメモリ、１０３は
入力信号のゆれの方向と大きさを検出する動き量検出回
路、１０４はメモリ１ｏ２を制御するためのメモリ読出
制御回路である。

入力された画像信号は、一定のサンプリング周波数でサ
ンプリングされ、ディジタル信号に変換されてメモリ１
ｏ２に入力される。また、動き量検出回路１０３はディ
ジタル信号に変換された画像信号のうち第８図に示すよ
うに、一定周期で代表点Ｒ１１Ｒ１２・・・を定め、そ
れぞれの代表点ごとに次のフィールドまたは次フレーム
の周囲の信号Ｓｉｊとの差を求める。差を求める領域は
代表点の周囲水平方向±３２点、垂直方向±８点とし、
代表点Ｒ・・と水平方向Ｘ、垂直方向ｙの位置関係に月 ある信号Ｓ１＋８．ｊ＋アの差の絶対値をΔ〒Ｔとする
。

この差を各代表点について同じ位置関係にあるＸ７につ
いて加算してＤエアとする。

Ｄ　丑Σ　Δ０ｙ ！７　　ｔ　５　　月 そしてこのＤエアの中での最小値のＸとｙを水平方向及
び垂直方向の動き量とする。このようにして・動き量検
出回路１０３によシ求めた動き量をもとにして、メモリ
読出制御回路１０４では基準点を動き量によシ移動させ
て読出す。

第９図にこの基準点移動の様子を示す。Ｗで示す領域は
入力信号をメモリに書込む領域であシこれは常に一定で
ある。Ｒｏで示す領域は動き量が零の場合のメモリから
の読出しの領域であり、Ｒエアで示す領域は動き量が水
平Ｘ点、垂直ｙ点のときのメモリからの読出し領域であ
る。このようにしてメモリ１０２から読出した信号は画
像のゆれが補正され、見やすい画像となることが可能に
なる。このようなゆれ補正の方法を代表的マツチング法
と称す。

発明が解決しようとする問題点 しかしながら上記のような構成では、補正後の信号は常
に入力された信号の一部の領域の信号しか出力されない
ため、常に情報量が低下して解像度が低い信号となる。

またゆれが大きくなると読出領域が大きく動くために、
書込み領域を越えて補正を行うことは不可能であること
から、読出領域を書込み領域に比べて小さく設定する。

しかしながらこのようにして大きなゆれを補正可能にし
た場合には、さらに出力される情報量が低下し解像度が
さらに低下するという問題点を有していた。

本発明はかかる点に鑑み、ゆれの大きな場合には読出領
域を小さくして補正を十分に行い、ゆれの小さな場合に
は読出領域を大きくして情報量の低下を少なくし、解像
度の高い信号を出力できるゆれ補正撮像装置を提供する
ことを目的とする。

問題点を解決するための手段 上記目的を達成するために本発明のゆれ補正撮像装置は
、光学像を電気信号に変換する撮像素子と、前記撮像素
子の出力撮像信号を書込み読出可能なメモリと、前記撮
像信号のゆれを検出する動き量検出回路と、前記動き量
検出回路により検出された動き量に応じて前記撮像信号
のゆれ成分を低減するための制御信号を合成する動き制
御回路と、前記動き量に応じて前記メモリに記憶された
撮像信号から読出す範囲を制御する切出サイズ制御部と
、前記メモリから読出された信号を信号の読出し範囲に
応じて補間する補間回路を備えるものである。

作　　　用 前記した構成により、撮像信号中のゆれを動き量として
検出し、動き量の大小に応じてメモリの読出領域を制御
し、さらにメモリから読み出した信号を読出領域に応じ
て補間することによシ、画質の劣化を最少限におさえ、
ゆれに対する十分な補正を行えるとともに、ゆれの少な
い状態においては高画質の画像を得られるゆれ補正撮像
装置が実現できる。

実施例 以下、本発明の一実施例のゆれ補正撮像装置について図
面を参照しながら説明する。第１図は本発明の第１の実
施例におけるゆれ補正撮像装置のブロック図を示すもの
である。第１図において、１ｏは光学像を電気信号に変
換する撮像素子、１１はＡ／Ｄ変換器、１２は画像信号
を書込み、読出すメモリ、１３は２つ以上の隣接する画
素の画像信号から１つの画像信号を補間する補間回路、
１４は画像信号のゆれを求める動き量検出回路、１５は
撮像素子１ｏの駆動パルス及び装置の回路動作の基準と
なるクロックを作る駆動回路、１６はメモリ１２の書込
み及び読出を制御するメモリ制御回路、６ｏは動き量検
出回路１４によ）検出された動き量によシ補正画像の切
出サイズを求める切出サイズ制御回路、１７は動き量と
切出サイズによシ補正画像の領域を求める動き制御回路
、２１はＤ／Ａ変換器である。

以上のように構成された本実施例のゆれ補正撮像装置に
ついて以下その動作を説明する。撮像素子１０からの撮
像信号をＡ／Ｄ変換器１１でディジタルの信号に変換し
、１フイ一ルド分の信号をメモリ１２に書込む。撮像信
号はメモリ１２と同時に動き量検出回路１４に入力され
、従来例に示した代表点マツチング方法によシ動き量を
求める。

本実施例の場合、ディジタル信号に変換された撮像信号
は、それぞれ撮像素子１ｏの一つ一つの画素の信号に対
応しているため、各信号間での演算は撮像素子１０の各
画素間の演算となる。動き量検出は代表点を定め、代表
点とその周囲の各画素間の差の絶対値を求め、代表点と
各画素の相対位置関係が同じものをすべての代表点で加
算し、加算合計でそのレベルの一番小さいものの相対位
置関係を動き量とする。この動き量よ多メモリ１２に書
込んだ画像信号のうちのどれだけの範囲で出力するかの
画像切出サイズを切出サイズ制御部５゜で決定する。一
画面の水平方向の大きさを基準とし、この大きさを１０
０％として動き量の最大値と画像切出サイズの関係を第
２図に示す。動き量が０のとき画像の切出サイズを９０
％とし、動き量が４０％のとき画像の切出サイズを５０
％とする。動き量が４０％以上のときは切出サイズは５
゜チに固定される。また動き量の時間変動に対しては第
４図に示すようにピークホールド回路を含むようなＬＰ
Ｆの特性を切出サイズ演算回路にもたせる。以上の画像
切出サイズを切出サイズ演算回路１８で行う。

切出サイズを決定後、との切出サイズで出力画像の走査
幅をもとの大きさに変換するための通常の１画素の出力
期間に何画素分出力するかを走査量演算回路１９で求め
る。走査量はたとえば画像切出サイズが５０％のとき０
．５画素になる。この走査量と、撮像素子駆動の走査パ
ルスより切出サイズ内の走査位置を走査位置演算回路２
０によシ求める。切出サイズをｎ１撮像素子上での走査
位置をＰ！、Ｐアとすると切出サイズ内での走査位置１
！、Ｉアは次式で求められる。

１、−Ｈ＠ｐ　ｘ＋　（１−”　） Ｉ、町・Ｐｙ＋（１−ｎ） 以上のように動き量から切出サイズ内の走査位置Ｉ、、
Ｉアを切出サイズ制御部６０で求める。次にこの動き量
と切出サイズ内の走査位置１ｘ、Ｉアから、メモリ１２
の読出アドレスを動き制御回路１７で求める。動き量を
Ｍ、、Ｍアとし、有効期間の画素数をＴ２！、Ｔ２アと
すると、メモリ１２の読出アドレスＲ１，Ｒアは次式の
通シである。

Ｒ，ｗＩ！＋Ｍ！＋−１（１−ｎ）ＥｘＲ７＝Ｉ　ｙ　
＋Ｍ　７　”　２　（１−”　）　８７以上の様にして
メモリ１２の読出アドレスを動き制御回路１７で合成す
る。第３図にメモリの書込アドレスの領域と読出アドレ
スの領域及び動き量の関係の概要をメモリ書込アドレス
の領域を基準として示す。

以上のようにしてメモリ１２よシ読出した信号は補間回
路１３によシ補間して一つの信号として出力する。たと
えば 画素数　　Ｅ　＝５１０．Ｅ、−４９０切出サイズ　ｎ
ツ０．８ 走査点　　Ｐ　−ｓ、Ｐアー３ 動きｆ　　Ｍ！−−４１，Ｍ、＝−４３のときのメモリ
読出アドレスＲｘ、ＲアはＲ工＝１ｓ、ｓ、Ｒア＝８．
９　　と求まる。このとき水平方向ではＲ８はＲ、ｍ　
１５とＲｘ＝＝１６のアドレスの信号を読出し０．７：
０３の重みで加算しＲニー１５．３の信号とする、ｎア
はＲアー８とＲア＝９のアドレスの信号を読出し０．１
と０．９の重みで加算しｆＬ、−８，９の信号として補
間する。補間は水平方向と垂直方向２種類の補間がある
がどちらの方向から行っても良い。

以下に示す例では垂直方向の補間を先に行う。

奇数値Ａの切上げを”Δ”、切シ捨てを　Ａ　として示
す。まずＲ８を切すてたときの垂直方向の５Ｃ（Ｒｘ、
Ｒ，）＝（Ｒ−Ｒア）・Ｓ（Ｒ，、Ｒ，）＋（Ｒ，４，
）・Ｓ　（Ｒ，、Ｒ，）同様にＲｘを切上げたときの垂
直方向の補間値５ｃ（Ｒ工、Ｒア）は Ｓ、　（Ｒｘ、Ｒ，）＝（Ｒ，−Ｒア）　、５（Ｒｘ、
Ｒｙ）＋（Ｒア−Ｒ，）Ｓ　（Ｒｘ、Ｒア）次に垂直方
向に補間した値を用いて水平方向の補間を行う。最終の
補間値５ｃ（Ｒｘ、Ｒア）は以上の３つの式よ５Ｒｘ、
Ｒアそれぞれ切上げ、切すての組合せの４点の信号値よ
り補間値を計算する。Ｒ工＝１５．３．Ｒア＝８．９　
の例を第６図に示す。

補間値は次式のようになる。

Ｓ。（１５，３，８，９）＝０．７ＸＳ（１５，８，９
）＋０．３５（１６，８，９）＝０．７（：０．１　Ｘ
Ｓ　（１５，８）　＋０．９ＸＳ　（１５，９））＋ｏ
、ｓ（ｏ、１ｘｓ（１ｓ、ｓ）＋ｏ、９ｘＳ（１ｅ、９
））以上の動作を補間回路１３によシ行う。そしてこの
信号を１）／Ａ変換器２１によシアナログに変換し出力
する。またメモリ制御回路１６はメモリ１２への画素信
号の書込を行うとともに動き制御回路１了からの読出し
信号による読出全行う動作をする。

以上のように本実施例によれば、画像信号に含まれるゆ
れ量（動き景）を検出しこの動き量よシ画像の切出サイ
ズを変化させるとともに補間方法を制御して、ゆれ量が
大きくなった場合においても十分なゆれ補正を行うとと
もに、ゆれ量が少なくなった場合には画像を切出サイズ
を大きくして解像度の低下を最少限におさえることが出
来、十分なゆれ補正と高画質を両立させることが可能と
なる。

第６図は本発明の第２の実施例のゆれ補正撮像装置のブ
ロック図である。第１図の構成と異なるのは２２のズー
ムレンズであシ、他の１０〜２１までの符号で示す構成
要素は第１図の実施例と同じであシ同符号を付してその
詳細な説明は省略する。

ズームレンズ２２は切出サイズ演算回路の出力で制御を
行い、切出サイズが９０％〜６０％まで変化させたとき
、ズーム倍率比も９０％〜６０％まで同時に制御を行う
。この制御特性を第２図と第４図に合せて記す。このよ
うにレンズのズーム倍率比を切出サイズと同時に制御す
ることに切出サイズの変化にともなう画角の変化をなく
すことが可能になる。したがって切出サイズの制御を行
うヌビードを速くして、急激なゆれ量の変化に対応する
ゆれ制御を行う場合にも画角の変化はなく、より十分な
ゆれ量の補正と、補正後の高画質を両立さすことが可能
となる。

なお、第１．第２の実施例において撮像素子は白黒用カ
ラー用どちらとも限定していないが、白黒、カラーどち
らの撮像素子にも用いることが出来るのは明らかである
。

また動き量の検出には、画像処理によシ求めたが、加速
度センサーや、角速変センサーにより、ビデオカメラ自
身の動き量を求め、画像の動き量に変換することも可能
である。また動き量を固定して切出サイズのみを制御す
ることにょシミ子ズームとしても使用できることは明ら
かである。また第１の実施例における動き量の最大値と
画像切出サイズの関係は一例であり、これ以外の特性も
１吏用できるのはいうまでもない。

発明の効果 本発明によれば、ゆれの補正量を自動的に制御し、切出
サイズを制御し、同時に補間特性を制御することによシ
大きなゆれ補正を行えるとともにゆれが少ない時には切
出サイズを大きくして画質の低下を少なくし、十分な補
正と補正後の高画質を両立させることが可能になる。ま
た電子ズームとしても使用することができ、その実用的
効果は大きい。

【図面の簡単な説明】

第１図は本発明における一実施例のゆれ補正撮像装置の
ブロック図、第２図は同実施例の動き量と画像切出サイ
ズ及びズーム倍率の関係を示す特性図、第３図はメモリ
への書込アドレスの領域と読出アドレスの領域を示す平
面図、第４図は動き量と画像切出サイズ及びズーム倍率
の時間変化の関係を示す説明図、第６図は画像の切出し
と補間の実例を示す模式図、第６図は本発明の他の実施
例のブロック図、第７図は従来のゆれ補正装置の１ｏ・
・・・・・撮像素子、１１・・・・・・Ａ／Ｄ変換器、
１２・・・・・・メモリ、１３・・・・・・補間回路、
１４・・・・・・動き量検出回路、１６・・・・・・駆
動回路、１６・・・・・・メモリ制御回路、１７・・・
・・・動き制御回路、１８・・・・・・切出サイズ演算
回路、１９・・・・・・走査量演算回路、２０・・・・
・・走査位置演算回路、２１・・・・・・ｉ）／Ａ回路
、２２・・・・・・ズームレンズ。 代理人の氏名　弁理士　中　尾　敏　男　ほか１名第　
２ｒＩＪ ｏ　　　　ｚｏ　　　　ｎ　　　　ａθ　　　”　　（
３）動き量の最大値。 第３図 第４図 第５図 Ｗ 第　７　図 第８図

Claims (2)

【特許請求の範囲】
1. （１）光学像を電気信号に変換する撮像素子と、前記撮
   像素子の出力撮像信号を書込み読出可能なメモリと、前
   記撮像信号のゆれを検出する動き量検出回路と、前記動
   き量検出回路により検出された動き量に応じて前記メモ
   リの読出信号に含まれる前記撮像信号のゆれ成分を低減
   するための制御信号を合成する動き制御回路と、前記動
   き量に応じて前記メモリに記憶された撮像信号から読出
   す範囲を制御する切出サイズ制御部と、前記メモリから
   読出された信号を信号の読出し範囲に応じて補間する補
   間回路を備えることを特徴とするゆれ補正撮像装置。
2. （２）切出サイズ制御部はメモリの信号出力を制御する
   とともに、撮像素子の光学系のズーム倍率比を制御する
   ことを特徴とする特許請求の範囲第１項記載のゆれ補正
   撮像装置。