JPH04117077A - 動きベクトル検出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は小型化の進むカメラ、特に手に持って撮影する
ような小型軽量のビデオカメラなどの撮像装置において
、画面ゆれを補正する画像動き補正装置に関するもので
ある。

〔従来の技術〕

テレビジョン画面のような画面内における画像の動きは
、画像中の物体の移動によるものとカメラの平行移動（
パン）によるものが−船釣であるが、この他に撮影時の
条件によりカメラの振動等による画像の動きが加わるこ
とがある。例えば、望遠で撮影するときには、画角が小
さいためわずかの振動が画像では大きな動きとなり、視
覚上の障害となりやすい。また、ビデオカメラを持って
移動しながら撮影する場合やヘリコプタ−等に搭載して
撮影する場合にもカメラの振動が画面の振動となって現
れる。

このような障害の対策としてジャイロセンサを利用した
防振装置がある。これはジャイロセンサで検出した変位
分だけ逆方向に位置または光軸を動かすように制御し補
正するものである。

一方、画像情報を電気的に処理して補正を行うことが考
えられている。

第６図は電気的に処理して補正を行う場合の一般的な構
成を示すブロック図である。第６図において、６０１は
アナログ・デジタル変換器（以下Ａ／Ｄ変換器と称す）
、６０２は入力信号を書き込み、読み出すメモリ、１２
は入力信号のゆれの方向と大きさを検出する動きベクト
ル検出回路、６０３は動きベクトル検出回路Ｉ２からの
動きに従ってメモリ６０２の読み出しアドレスを制御す
るメモリ続出制御回路、６０４はメモリ６０２から読み
出した映像信号の一部分を拡大補間処理する補間回路、
６０５はデジタル・アナログ変換器（以下Ｄ／Ａ変換器
と称す）である。

次にこの構成による動き補正の動作について説明する。

入力された画像信号はＡ／Ｄ変換器６０１により一定の
サンプリング周波数でサンプリングされ、デジタル信号
に変換されて、メモリ６０２に書き込まれる。また、動
きベクトル検出回路１２は連続するフレーム間の相関か
らフレーム単位の動き（速度）を検出する。メモリ続出
制御回路６０３は動きベクトル検出回路１２により求め
た動き量をもとにして基準点（読み出しアドレス）を動
き量により移動させてメモリ６０２に書き込まれた信号
の一部分を読み出す。読み出された信号は補間回路６０
４により元の画面サイズに拡大補間され、Ｄ／Ａ変換器
６０５によりビデオ信号に変換され出力される。

第７図にメモリ６０２から基準点を移動させて読み出す
様子を示す、Ｗで示す領域は入力信号をメモリに書き込
む領域であり、これは常に一定である。Ｒｏで示す領域
は動き量がＯの場合のメモリからの読み出し領域であり
、Ｒｘｙで示す領域は動き量が水平Ｘ、垂直ｙの時のメ
モリからの読み出し領域である。動き量は動きベクトル
検出で求めたフレーム単位の動き（速度）を積分するこ
とによって得ることができ、積分による誤差の蓄積は安
定時に読み出し領域をＲｏに近づけるという操作により
なくすことができる。

ところで、このような画像動き補正装置において、フレ
ーム間の画像移動量を検出するためには本来、画像内の
全画素についてその方向にどれだけ動いたかを算出する
のが理想的であり、これ以上のベクトル検出精度はない
。しかし、大規模なハードウェアと時間を要し、実現困
難である。そこで、一般には、画面のいくつかの画素（
以下、代表点と称す）に着目し、これらの画素の移動量
から画面全体の動きベクトルを決定する方法が取られて
いる。

第１６図は一般的な代表点演算回路のブロック図である
。第１７図は第１６図の従来例における画像のブロック
及び代表点との関係を示している図である。１フイール
ドの画像を所定個数のブロック１１５に分け、各ブロッ
ク毎に中央に１つの代表点ＲｉＪ１１４を設けている。

各ブロック毎に１フレーム前の代表点とブロック内の全
画素Ｓ、。

、、Ｊ、、１１６とのレベル差を演算している。

第１６図において、入力映像信号（ａ）はまずＡ／Ｄ変
換器１０１でＡ／Ｄ変換され、代表点１１４となるべき
ブロック１１５内の所定の画素が、ラッチ回路１０２を
経由して代表点メモリ１０３に書き込まれる。代表点メ
モリ１０３に収納されたデータは、１フレーム遅延され
て読み出され、ラッチ回路１０４を経由して絶対値回路
１０６に送られる。他方、Ａ／Ｄ変換された映像信号の
データはラッチ回路１０５を経由して絶対値回路１０６
に送出される。ランチ回路１０４より出力される１フレ
ーム前の代表点信号（ｂ）とラッチ回路１０５より出力
された現フレームの画素信号（Ｃ）は絶対値回路１０６
にて演算され差の絶対値が算出される。これらの演算は
ブロック単位に行なわれ、この絶対値回路１０６の出力
信号（２）は累積加算テーブル１０８の各ブロック内の
画素の同一アドレスに対応するテーブルに次々と加算さ
れる。このテーブルの加算結果がテーブル値比較回路１
０９に入力され、最終的に、加算結果の最小なところの
アドレスをもって１フレームで画像位置がどの方向にど
れだけ移動したか、すなわち動きベクトル値（ｅ）が決
まる。すなわち、代表点Ｒｉ　ｊと水平方向′Ｘ、垂直
方向ｙの位置関係にある信号Ｓ　ｉ＋ｘ　＋　Ｊ。

アの差の絶対値を求め、各代表点について同じ位置関係
にあるｘｙについて加算して累積加算テーブルＤ　ｘｙ
とする。

この時、Ｄ　ｘｙは Ｄ　ｘｙ＝Σ：　Ｒｉｊ　　５ｔｙｘ　＋　ｊａｙ　　
ｌで示される。

そして、このＤＸｙの中での最小値のＸとｙを水平方向
及び垂直方向の動きベクトルとする。

ここで、代表点を中心とする１ブロンクは、ベクトルの
大きさ、すなわちベクトルによる画像の補正ができる範
囲を示している。また、累積加算を行なう結果は加算数
が多いほどベクトルの検出精度が向上するので、−船釣
には全画面の代表点を加算して、すなわち画面全体の動
きを平均したものを動きベクトルとしている。

〔発明が解決しようとする課題〕

従来の撮像装置は以上のように構成されていたが、振動
の検出にジャイロセンサを用いていたので、センサが高
価であるという問題だけでな（、センサの取り付は位置
をどこにするか、あるいはいかにそのスペースを確保す
るかという問題があった。

また、電気的に画質劣化を起こさないように補正しよう
とすると、高精度なＡ／Ｄ変換器、Ｄ／Ａ変換器、大容
量のメモリ、メモリ制御や拡大補間のための大規模な回
路が必要であり、システムが高価になってしまい、消費
電流が大きくなってしまうという問題がある。また、補
正後の信号は常に入力された信号の一部の信号であるた
め、情報量が低下し解像度の低い信号となる。そして、
補正範囲を大きくして、大きなゆれを補正可能にすると
さらに情報量が低下し解像度が下がってしまい、このこ
とから逆に補正範囲はあまり大きく取れないことになる
という問題がある。

また、上記のような動きベクトル検出回路の構成では、
動きベクトルを平面的（２次元）に求めるために、ブロ
ック内の全画素数に対応した数の累積加算テーブルが必
要となり、１ブロツクの画素が水平３２．垂直１６とす
ると３２Ｘ１６＝５１２個の累積加算テーブルを必要と
し、回路規模が大きくなるという問題点があった。また
、動きベクトルの算出においては累積加算テーブルの全
てのデータの比較を行なうため、算出に要する比較の回
数が非常に多く、時間がかかるという問題があった。

また、上記のような従来の画像動き補正装置の動きベク
トル検出装置では全画面にわたっての動きを平均化する
ような構成であるため、動きベクトル検出を行なうブロ
ックの配置が必ずしも画面中央に対して対称ではなく、
このため、平行移動だけの画像の場合にはうまく動きベ
クトルを検出できるが、ズーミング動作時の画像の場合
にはうまく動きベクトルを検出できないことがよく起こ
る。また、誤検出した場合には、平行移動の時よりもズ
ーミング動作時の方が目立ってしまい、ユーザーは違和
感を感じるという問題がある。

この発明は上記のような問題点を解消するためになされ
たもので、安価な小型軽量な手プレ防止機能を有する画
像動き補正装置を提供せんとするものである。

また、本発明は上記の点に鑑み、回路規模が小さく出来
、短い算出時間で動きベクトルを検出できる動きベクト
ル検出回路を有する画像動き補正装置を提供することを
目的とする。

さらに、本発明は、ビデオカメラ撮影において良く用い
るズーミング動作を行った時にもユーザーにとって違和
感の無い動きベクトルを検出できる動きベクトル検出回
路を有する画像動き補正装置を提供することを目的とす
る。

〔課題を解決するための手段〕

この発明に係る画像動き補正装置は、複数のレンズと撮
像素子を搭載した鏡筒部と、前記撮像素子に得られる電
気信号から画像信号を作り出す画像信号処理手段と、前
記鏡筒部への入射光線軸と直交もしくは略直交する回転
軸回りに前記鏡筒部を回動自在に支承する支持体と、前
記鏡筒部と前記支持体の間に取り付けられ、前記鏡筒部
を回転駆動するアクチュエータ手段と、前記鏡筒部と前
記支持体の相対角度を検出する相対角度検出手段と、前
記画像信号処理手段から得られる画像情報の時間的に連
続した２フレーム間の相関から画像の移動量を示す動き
ベクトルを検出する手段と、動きベクトルの検出結果か
らズーム倍率等により回転角速度を演算出力する角速度
演算手段と、前記回転角速度情報及び相対角度情報をも
とに前記アクチュエータの制御信号を出力する演算制御
手段とを備えたものである。

また、上記目的を達成するために本発明に係る画像動き
補正装置は、代表点の垂直方向に当たる画素に対応する
累積加算テーブルと代表点の水平方向に当たる画素に対
応する累積加算テーブルから直交する２つの１次元動き
ベクトルを求める手段と、直交する２つの１次元動きベ
クトルから２次元の動きベクトルを算出する手段とを備
えたものである。

さらに、この発明に係る画像動き補正装置は、１画面を
複数のブロックに分解し、上記ブロックごとに連続する
２フレーム間の差の絶対値を求め′る手段と、１画面を
複数のブロックで構成される複数のエリアに分割し、上
記ブロックごとの差の絶対値を上記エリアにわたって積
算しテーブルを算出する手段と、上記エリア毎に積算し
たテーブルから各エリアの動きベクトルを求める手段と
、上記求めた各エリアの動きベクトルから、画面全体が
平行移動しているのかズーミング動作をしているのかを
判定する手段と、平行移動と判断した時には画面全体の
動きベクトルを平均した値を動きベクトルとし、ズーミ
ング動作と判断した時には画面全体の動きベクトルを平
均した値に所定の減衰定数ｋ（０≦ｋ＜１）を掛けた値
を動きベクトルとする手段とを備えたものである。

〔作用〕

本発明においては、以上の構成によって、映像信号から
直接画像の動きベクトルを検出し、ズーム倍率等により
回転角速度を演算算出し、アクチュエータを駆動するこ
とにより閉ループを構成して動き補正を行ない、また、
鏡筒部と支持体の相対角度を検出して、低周波領域にお
いてはこれがＯとなるようにアクチュエータを駆動する
構成としたから、ズーム倍率によらず画像の動きを補正
することができ、定常時には鏡筒部を支持体の基準位置
に戻すように制御することができる。

また、上記構成による画像動き補正装置は、累積加算テ
ーブルからは直交する２つの１次元ベクトルを求めるだ
けであるために、累積加算テーブルの数が水平画素数と
垂直画素数との和で実現できる。例えば１ブロツクの画
素が水平３２．垂直１６とすると累積加算テーブルの数
は３２÷１６＝４８個ですむため、従来の１／１０以下
の回路規模で累積加算テーブルを実現できる。また、累
積加算テーブル数を小さくすることにより、動きベクト
ル算出の演算時間を短くできる。

さらに、本発明においては、単に全画面の動きを平均し
て求めるのではなく、まず画面をいくつかに分割したエ
リアごとに動きベクトルを求め、各エリアの動きベクト
ルが同一方向を向いているのか、もしくは逆方向を向い
た関係になっているのかから画面全体が平行移動してい
るのかズーミング動作しているのかを判断する構成とし
たから、ズーミング動作を行った時にもユーザーにとっ
て違和感の無い動きベクトルを検出できる。

〔実施例〕

以下本発明の実施例を図について説明する。第１図は本
発明の第１の実施例による画像動き補正装置の構成図で
ある。第１図において、鏡筒部１には複数のレンズ群（
図示せず）と撮像素子２（例えばＣＣＤ板や撮像管）が
取り付けられ、被写体からの反射光を集結させて撮像素
子２に結像させ、電荷信号（電気信号）に変換する。画
像信号処理回路１０は撮像素子２に得られた電荷信号を
逐次読み出し、画像信号（ビデオ信号）を作り出してい
る。

鏡筒部１と支持体３の間にはアクチュエータ５が配置さ
れ、回転軸６を中心にして鏡筒部１をヨ一方向に回転駆
動している（使用状態において、鏡筒部１はほぼ水平面
上で回動自在である）。

アクチュエータ５の回転軸６は鏡筒部１の重心Ｇを通り
、支持体３に回転可能に支承されている。

さらに、支持体３には撮像装置の操作者が手で支持する
グリップ部分４を設けである。

１１はホール素子９の出力から鏡筒部１と支持体３の相
対角度を検出している相対角度検出回路、１２は映像信
号処理回路１０で作成された画像信号から動きベクトル
を検出する動きベクトル検出回路、１３は動きベクトル
検出回路１２の出力からズーム倍率等により鏡筒部ｌの
回転角速度を演算算出する角速度演算手段、１４は相対
角度検出回路１１及び角速度演算手段１３の出力を入力
し、駆動回路１５を通してアクチュエータ５を制御する
演算制御手段である。

第２図（ａ）、　（ｂ）、　（Ｃ）にアクチュエータ５
の具体的な構成を示す。第２図において、マグネット２
０２の強磁性体製のバックヨーク２０１は鏡筒部１に取
り付けられ、回転軸６とともに回転する。マグネッ訃２
０２は４極に着磁され、界磁磁束を発生している。回転
軸６の軸受２０７が取り付けられたコイルヨーク２０３
にはコイル２０４ａ、２０４ｂとホール素子（感磁素子
）９が固着されている。

本実施例では、マグネット２０２が鏡筒部１に取り付け
られ、コイルヨーク２０３が支持体３に取り付けられて
いる。コイル２０４ａと２０４ｂは直列に接続され、端
子２０５から端子２０６に流れる電流とマグネット２０
２の磁束によって回転トルクを発生する。また、ホール
素子９はマグネット２０２の磁極の切り替え部分にほぼ
対向して配置され、マグネット２０２（鏡筒部１の角度
）とコイルヨーク２０３（支持体３の角度）の相対的な
角度差に対応した出力信号を発生する。アクチュエータ
５のマグネット２０２の磁界を検知するホール素子９の
出力は相対角度検出回路１１に入力される。

第３図に相対角度検出回路１１の具体的な構成を示す。

ホール素子９の２つの出力端子に得られる直流信号を、
演算増幅器３０１と抵抗３０２゜３０３．３０４，３０
５からなる差動増幅回路によって所定倍に差動増幅し、
出力信号Ｃを得ている。＋ＶＨ，−ＶＨは適当な電圧で
あり、抵抗３０６．３０７を介してホール素子９に適当
なバイアスを与えている。

第４図は上記動きベクトル検出回路１２の一例を示すブ
ロック図である。第４図において、入力映像信号ａは映
像信号処理回路１０により作り出された映像信号で、ま
ずＡ／Ｄ変換器４０１でＡ／Ｄ変換され、ラッチ回路４
０２を経由してこのＡ／Ｄ変換された信号の一方が代表
点メモリ４０３に入力され、ここに書き込まれたブロッ
ク内の所定の画素が代表点となる。従って、代表点メモ
ＩＪ　４０３の出力は１フレーム前に書き込まれた代表
点であり、これはブロック単位で読み出され、う、７チ
回路４０４を経由して信号ｅとなる。このブロック内に
入力したもう一方のＡ／Ｄ変換された映像信号をラッチ
回路４０５を経由した信号ｄと、代表点信号ｅとは絶対
値回路４０６によりその差の絶対値が算出される。これ
らは代表点数のブロックについて行われ、出力信号は累
積加算テーブル４０７の角ブロックの同一アドレスに対
応するテーブルに次々と加算される。このテーブルの結
果がテーブル値比較回路４０８に入力され、最終的に加
算結果の最小なところのアドレスをもって１フレームで
画像位置がどの方向にどれだけ移動したかが、即ちベク
トル値すが求められる。

第５図は以上の一般的な代表点演算における画像のブロ
ック及び代表点との関係を示している。

１フレーム前に取り出した代表点５０１をもとに、ブロ
ック５０２内に入力された画素５０３と代表点レベルと
の演算が各ブロックで行われることを示している。

即ち、代表点Ｒｉ　ｊと水平方向Ｘ、垂直方向ｙの位置
関係にある信号Ｓ　Ｌ”Ｘ　＋　Ｊ＋ｙの差の絶対値を
各代表点について同じ位置関係にあるｘ、ｙについて加
算してＤ　ｘｙとする。この時、ＤＸ、＝Σｌ　ＲｊＪ
　　Ｓｉ＋Ｘ　＋　ｊ”！／で示される。

そして、このＤ　ｘｙの中での最小値のＸとｙを水平方
向及び垂直方向の動きベクトルとする。

ここで、代表点を中心とする１ブロツクは、ベクトルの
大きさ、即ちベクトルによる画像の補正ができる範囲を
示している。また、累積加算を行う結果は加算数が多い
ほどベクトルの検出精度が向上するので、−船釣には全
画面の代表点を加算して、即ち画面全体の動きを平均し
たものを動きベクトルとする。

次に制御ループについて説明する。グリップ４を持って
いる操作者の手がある速度で回転する。

そして、鏡筒部１も同じ速度で回転しようとする。

鏡筒部１が回転すると、画像信号処理回路１０からの出
力である映像信号は左方向に平行移動し、１フレーム前
の代表点であった映像は１フレーム後にはｎ画素分左へ
移動する。すると、動きベクトル検出回路１２での絶対
値回路４０６の出力はｎ画素分左との絶対値が小さくな
る。従って、各ブロックの絶対値の累積された累積加算
テーブル４０７もｎ画素分左のアドレスに対応するテー
ブルが最小となり、動きベクトルが左方向にｎ画素／フ
レームであると求まる。ここで求めた動きベクトルとズ
ーム比率とからこの時の鏡筒部１０回転角速度を角速度
演算手段で算出（ズーム比率が大きい（小さい）時はそ
れにあわせて角速度を小さく（大きく）演算する）し、
この角速度が０となるようにアクチュエータ５を駆動す
る。

しかし、角速度制御ループだけでは発振したり偏差を持
ったりしてしまうことがある。また、検出した角速度を
積分して角度を検出することができるが、検出誤差も累
積されてしまう。そこで、低周波領域においては相対角
度検出回路１１から求めた相対角度が０となるようにア
クチュエータ５を駆動するように制御する。以上２つの
ループによりズーム倍率によらずに画像の動きを補正す
ることができ、また定常時には鏡筒部を支持体の基準位
置に戻すように制御することができる。

なお、以上の説明ではヨ一方向の揺れに対する防振につ
いて適用した実施例を説明したが、ピッチ方向の揺れに
対する防振にも本発明は適用できることは言うまでもな
い。

また、相対角度検出を、アクチュエータに取り付けたホ
ール素子により行う場合について説明したが、これは鏡
筒部と支持体の角度を検出するものであればどのような
センサであってもよい。

さらに、本画像動き補正装置の適用範囲はビデオカメラ
に限定されるものではなく、その他、本発明の主旨を変
えずして種々の装置に適用することが可能である。

ところで、第１図の画像動き補正装置では動きベクトル
検出回路として第４図に示すものを用いているが、この
第４図の回路には回路規模が大きく、動きベクトルの算
出に時間がかかるという間題があった。

第８図はこのような問題を解決できる、本発明の第２の
実施例による画像動き補正装置における代表点演算回路
のブロック図である。

第９図は第８図の実施例における画像のブロック及び代
表点との関係を示している図である。

この第８図の装置では、１フイールドの画像を所定個数
のブロック１１５に分け、各ブロック毎に中央に１つの
代表点Ｒｉｊｌ１４を設けている。

各ブロック毎に１フレーム前の代表点とブロック内の代
表点の垂直方向の画素Ｓ８゜９．　ｊ、、　１１６及び
代表点の水平方向の画素Ｓ　ｉ＋Ｘ　＋　Ｊ。ｙ１１７
とのレベル差を演算している。

第８図において、入力映像信号（ａ）はまずＡ／Ｄ変換
器１２１でＡ／Ｄ変換され、代表点１１４となるべきブ
ロック１１５内の所定の画素が、ラッチ回路１２２を経
由して代表点メモリ１２３に書き込まれる。代表点メモ
リ１２３に収納されたデータは、１フレーム遅延されて
読み出され、ラッチ回路１２４を経由して垂直絶対値回
路１２７と水平絶対値回路１２８に送られる。他方、Ａ
／Ｄ変換された映像信号のデータは、代表点の垂直方向
の画素にあたるタイミングでラッチする垂直画素ランチ
回路１２５を経由して垂直絶対値回路１２７に送出され
、代表点の水平方向の画素にあたるタイミングでラッチ
する水平画素ラッチ回路１２６を経由して水平絶対値回
路１２８に送出される。

ラッチ回路１２４より出力される１フレーム前の代表点
信号（ｂ）と垂直画素ラッチ回路５より出力された現フ
レームの画素信号（Ｃ）は垂直絶対値回路７にて演算さ
れ差の絶対値が算出され、ラッチ回路１２４より出力さ
れる１フレーム前の代表点信号［有］）と水平画素ラッ
チ回路１２６より出力された現フレームの画素信号（ｄ
）は水平絶対値回路１２８にて演算され差の絶対値が算
出される。これらの演算はブロック単位に行なわれ、垂
直絶対値回路１２７の出力信号（ｅ）は垂直累積加算テ
ーブル１２９の各ブロック内の画素の同一アドレスに対
応するテーブルに次々と加算され、水平絶対値回路１２
８の出力信号（ｆ）は水平累積加算テーブル１３０の各
ブロック内の画素の同一アドレスに対応するテーブルに
次々と加算される。この水平累積加算テーブル１３０の
結果と垂直累積加算テーブル１２９の結果がともに１次
元ベクトル検出手段１３１に入力され、垂直動きヘクト
ル（（至）及び水平動きベクトル（ハ）を検出する。こ
こで求めた直交する２つの１次元ベクトルである垂直動
きベクトル（６）と水平動きベクトル（５）を２次元ベ
クトル算出手段１３３に入力し、最終的に１フレーム間
に画像位置がどの方向にどれだけ移動したか、すなわち
２次元の動きベクトル値（ｉ）が決まる。

ここで、代表点を中心とする１ブロツクは、ベクトルの
大きさ、すなわちベクトルによる画像の補正が出来る範
囲を示している。また、累積加算を行なう結果は加算数
が多いほどベクトルの検出精度が向上するので、−船釣
には全画面の代表点を加算して、すなわち画面全体の動
きを平均したものを動きベクトルとしている。

次に１次元ベクトル検出手段１３１について説明する。

第１０図及び第１１図はこの１次元ベクトル検出を説明
するために累積加算テーブルの様子を模式的に示した図
である。第１０図、第１１図はともに（ａ）はブロック
の全画素数に対応した累積加算テーブルで、代表点を原
点として水平方向（Ｘ）、垂直方向（ト）、累積加算テ
ーブルの値（Ｚ）を３次元で表現している。また、（ｂ
）は代表点Ｒｉ　ｊと垂直方向ｙの位置関係にある信号
Ｓ　；　＋　ｊ”Ｙとの差の絶対値を求め、各代表点に
ついて同じ位置関係にあるｙについて加算した垂直累積
加算テーブルＤアで、代表点を原点として垂直方向（ｙ
）、累積加算テーブルの値（Ｚ）を２次元で表現してい
る。（Ｃ）は代表点Ｒｉ　ｊと水平方向Ｘの位置関係に
ある信号Ｓｉ＋Ｘ＋、との差の絶対値を求め、各代表点
について同じ位置関係にあるＸについて加算した水平累
積加算テーブルＤＸで、代表点を原点として水平方向（
幻、累積加算テーブルの値（Ｚ）を２次元で表現してい
る。

この時、式で表現すると、 Ｄ、＝Σｌ　Ｒｉｊ　　Ｓ　ｉ＋Ｘ　％　ｊ＋ＦＤｙ＝
Σｌ　Ｒｉｊ−３ｉ、、　１．、ｙ　ｌで示される。

そしてこのり、とＤＹを用いて、水平動きベクトル（ハ
）と垂直動きベクトル（（至）を検出する。

まず、その第１の検出方法として、水平累積加算テーブ
ルＤ、の中での最小値Ｘを水平動きベクトル（社）とし
て、また垂直累積加算テーブルＤｙの中での最小値ｙを
垂直動きベクトル（ｇ）として検出する方法について説
明する。

水平垂直方向ともに距離に比例して相関が減少する映像
信号が静止しているとすると、累積加算テーブル値は第
１０図の（ａ）の様に原点（０，０゜０）を頂点として
円錐を逆さまにしてような形となる。この時、（ｂ）の
垂直累積加算テーブル９の最小値はＸ＝Ｃの時であり、
（Ｃ）の水平累積加算テーブル１０の最小値はＸ＝Ｃの
時である。従って、垂直動きベクトル、水平動きベクト
ルともに０ベクトルであると求まる。

次に、映像信号が１フレームの間に水平方向にＣ１垂直
方向にｂ動いたとすると累積加算チーフルは第１ｆ図の
（ａ）の様に（Ｃ，ｂ、０）を頂点とした円錐形を逆さ
まにしたような形になる。この時、垂直累積加算テーブ
ル９は第１１図の（ト））に示すように平面Ｘ＝Ｏでの
円錐の断面の値、水平累積加算テーブル１０は第１１図
の（Ｃ）に示すｊうに平面ｙ＝ｏでの円錐の断面の値に
なる。ら）から垂直累積加算テーブル９の最小値はｙ＝
ｂの時であり、（Ｃ）から水平累積加算テーブル１０の
最小はＸ＝Ｃのときであることが解る。従って、垂直動
きベクトル（６）は（０，ｂ）、水平動きベクトル（ハ
）は（ｃ、０）と求めることが出来る。

次に、第２の検出方法として、予め累積加算テーブルの
形状を検出しておき、水平累積加算テーブルＤ８の中で
の最小値の値から垂直動きベクトル（８）を求め、垂直
累積加算テーブルＤ、の中での最小値の値から水平動き
ベクトル（ハ）を求める方法について説明する。

第１１図の（ａ）に示した様に円錐を逆さまにしたよう
な形の累積加算テーブルを水平方向にＣ１垂直方向にｂ
動かした時に、累積加算テーブルを式％式％ 簡単のために、完全な円錐であるとすると、ｒ（Ｚ）　
＝　ｋ　ｚとなるため累積加算テーブルは、（ｘ−ｃ）
”　＋　（ｙ−ｂ）”　＝　（ｋｚ）”　　（ｚ〉０）
と表わすことが出来る。

垂直累積加算テーブル９は平面Ｘ＝Ｏでの断面であるの
で、 ｃ２＋　（ｙ−ｂ）２＝　（ｋｚ）” で表わすことが出来る。

ｚ＝　（ｃ”　＋　（ｙ−ｂ）”　）””　／ｋから、
２はｙ＝ｂの時にｚＯ＝±ｃ　／　ｋで最小となるので
、逆に２の最小ｚＯを求めることにより水平動きベクト
ル（ハ）（ｃ、０）を求めることができる。

すなわち、Ｃ＝±に−ｚｏとなり、水平動きベクトルは
（ｋ−ｚＯ，０）または（−に−ｚＯ。

０）であると解り、水平累積加算テーブルを参照してＣ
が正か負かを判定することによりどちらかを決定するこ
とが出来る。

また、水平累積加算テーブル１０は平面ｙ＝０での断面
であるので、同様に （ｘ−ｃ）”　＋ｂ”　＝　（ｋｚ）”で表わすことが
出来る。

ｚ　＝　（（ｘ　　ｃ　）　ｔ　＋　ｂＺ　）　ｌ　／
Ｚ　／　ｋから、２はＸ＝Ｃの時に２０＝±ｂ／にで最
小となるので、逆に２の最小（！２０を求めることによ
り垂直動きベクトル（２）（０，ｂ）を求めることが出
来る。

すなわち、ｂ＝±に−ｚｏとなり、垂直動きベクトルは
（０，に−ｚＯ）または（０，−に−ｚＯ）であると解
り、垂直累積加算テーブルを参照してＣが正か負かを判
定することによりどちらかを決定することができる。

以上は、簡単のために、完全な円錐であるとしてｆ（Ｚ
）＝ｋｚの場合について説明したが、一般に２の関数と
して同様にして求めることが出来る。

この時２の関数ｆ　（Ｚ）はその時の映像の内容により
変化するが、連続する映像信号の場合には変化が少ない
ので、フレーム毎に累積加算テーブルの形状を検出する
ことにより常にｆ　（Ｚ）を求めることが出来る。

第１２図は理想的な水平累積加算テーブルの様子を示し
た図であり、斜め方向への動きの少ない時は例えば、（
ａ）のように象、峻な双曲線となるが、斜めの方向への
動きが大きい時は（ｂ）のように緩やかな双曲線になる
。

一方、第１２図において、第１の方法は２が最小となる
ｘＯを検出して、このｘＯから水平動きベクトルを求め
るもので、第２の方法は２の最小値２０を検出して、こ
のｚＯから垂直動きベクトルを求めるものである。

実際の水平累積加算テーブルの場合は、量子化誤差、丸
め誤差や映像の水平相関レベルの差などのためにＺ方向
にΔＺの誤差が存在する。そのため、この時のＸにもΔ
Ｘの誤差が生じてしまう。

第１２図の（ｂ）のように緩やかな双曲線の場合はΔＸ
が大きいためにＸの検出精度は悪く、逆にｚＯが大きい
ためにＺの検出精度はよくなる。

垂直累積加算テーブルにおいても同様となるため、第１
２図（ｂ）のように斜め方向への動きの太きい時には第
２の検出法の方が第１の検出法より有効な検出手段とな
る。

以上、１次元ベクトル検出手段の第１及び第２の検出方
法について説明したが、最終的な検出結果は第１及び第
２の実施例の検出結果を所定の比率で加え合わせてもよ
く、累積加算テーブルの形状により適応的にどららかを
選択してもよい。

また、第１３図は本発明の第３の実施例による画像動き
補正装置における代表点演算回路のブロック図であり、
これは、第４図の動きベクトル検出回路が有する、ズー
ミング動作時の画像の場合にはうまく動きベクトルを検
出できないことが多い、等の問題を解決できるものであ
る。

図において、入力映像信号ａは画像信号処理回路１０に
より作り出された映像信号で、まずＡ／Ｄ変換器１４１
でＡ／Ｄ変換され、ラッチ回路１４２を経由してこのＡ
／Ｄ変換された信号の一方が代表点メモリ１４３に入力
され、ここに書き込まれたブロック内の所定の画素が代
表点となる。

従って、代表点メモリ１４３の出力は１フレーム前に書
き込まれた代表点であり、これはブロック単位で読み出
され、ラッチ回路１４４を経由して信号すとなる。この
ブロック内に入力したもう一方のＡ／Ｄ変換された映像
信号をラッチ回路１４５を経由した信号Ｃと、代表点信
号すとは絶対値回路４０６によりその差の絶対値が算出
される。

１４７は絶対値回路１４６の算出結果を複数のエリア毎
の累積加算テーブル１４８ａ〜１４８１の内のひとつに
出力するように切り換えるスイッチ、１５０はエリア毎
のテーブル値比較回路１４９ａ〜１４９１の出力をより
平行移動であるかズーミング動作であるかを判別する平
行移動／ズーミング判定手段、１５１はテーブル値比較
回路１４９ａ〜１４９１の出力の平均の値を求める動き
ベクトル平均処理手段、１５２はｋ（０≦ｋ〈１）倍の
かけ算回路、１５３はスイッチである。

また、第１４図は１画面を９Ｘ９＝８１個のブロックに
分割し、１エリアを３Ｘ３＝９個のブロックで構成した
場合、すなわち１百面を３Ｘ３＝９個のａエリアからｉ
エリアに分割した場合のブロックとエリアの関係を示す
図である。第１５図は平行移動／ズーミング動作判定処
理の動作を説明するための図である。

次に動作について説明する。

入力映像信号（ａ）がＡ／Ｄ変換器１４１”ｉ：’Ａ／
Ｄ変換され、代表点１４となるべきブロック１５内の所
定の画素が、ラッチ回路１４２を経由して代表点メモリ
１４３に書き込まれることや、ラッチ回路１４４より出
力される１フレーム前の代表点信号（ｂ）とラッチ回路
１４５より出力された現フレームの画素信号（Ｃ）が絶
対値回路１４６にて演算され差の絶対値が算出されるこ
とは従来と同しである。これらの演算はブロック単位に
行なわれ、この絶対値回路１４６の出力信号（イ）はス
イッチ１４７によって切り替えられ、ブロックが属して
いるエリア毎に各エリアに対応する９個の累積加算テー
ブル１４８ａ〜１４８１の各画素に対応するテーブルに
次々と加算される。

このエリア毎のテーブルの加算結果が、エリア毎のテー
ブル値比較回路１４９ａ〜１４９１に入力され、最終的
に、エリア毎に加算結果の最小なところのブロックアド
レスをもって１フレームで画像位置がどの方向にどれだ
け移動したか、すなわち９個のエリア毎の動きベクトル
値ｅａ、・・・ｅｉが求まる。

この９個の動きベクトル値は動きベクトル平均処理手段
１５１により平均の値が求められ、この平均値は一方は
そのままスイッチ１５３へ、もう一方はｋ（０≦ｋ〈１
）倍のかけ算回路１５２を通り、減衰された後スイッチ
１５３へ入力される。

一方、この９個の動きベクトル値は平行移動／ズーミン
グ判定手段１５０に入力され、平行移動と判定した場合
には動きベクトル平均処理手段１１の出力をそのまま動
きベクトルとするようにスイッチ１５３を切り替え、ズ
ーミング動作と判定した場合にはかけ算回路１５２の出
力を動きベクトルとするようにスイッチ１５３を切り替
える。

次に、第１５図をもとに平行移動／ズーミング判定手段
１５０の動作について説明する。第１５図（ａ）の場合
にはａエリアからｉエリアまでの動きベクトルは多少バ
ラツキがあるものの、Ｘ方向ｙ方向共に正の値で動きベ
クトルの平均値とも近い値になっているので、平行移動
と判定出来る。従って、この場合には動きベクトル平均
処理手段１５１の出力（２，２）をそのまま動きベクト
ルとするようにスイッチ１３を切り替える。

一方、第１５図（ｂ）の場合乙こはａエリアとｉ工１ノ
ア、Ｃエリアとｇエリア、ｂエリアとｈエリア、ｄエリ
アとｆエリアのそれぞれの動きベクトルがほぼ逆方向を
向いているので、ズーミング動作していると判断できる
。従って、この場合にはかけ算回路１５２の出力（ｋ・
５／９．０）を動きベクトルとするようにスイッチ１５
３を切り替える。

なお上記実施例は画面の動きをフレーム間で検出する場
合について述べたが、フィールド間で検出してもよい。

〔発明の効果〕

以上述べたように、この発明に係る画像動き補正装置に
よれば、画像の動きを、画像情報を電気的に処理して検
出し、この検出出力にしたがって鏡筒部を回転駆動し光
軸を補正するようにしたから、高価なジャイロセンサを
必要とせず、また高価なＡ／Ｄ変換器、Ｄ／Ａ変換器、
メモリ等も必要とセず、画像の動きを補正できるため、
安価で、低消費電力の画像動き補正装置を得ることがで
きる効果がある。

また、この発明によれば、ブロック内において代表点と
比較する画素を代表点の上下左右のみとし、それぞれ求
めた上下及び左右の垂直累積加算テーブルと水平累積加
算テーブルの最小テーブルから垂直方向の動きベクトル
と水平方向の動きベクトルの２つの１次元ベクトルをそ
れぞれ別に算出し、前記それぞれ求めた直交する２つの
１次元ベクトルである垂直方向動きベクトル及び水平方
向動きベクトルから２次元の動きベクトルを算出する手
段を備えることにより、少ない累積加算テーブル数かつ
短い演算時間で動きベクトルの検出を行うことが出来る
。

さらに、この発明によれば、動きベクトルを単に全画面
の動きを平均して求めるのではなく、まず画面をいくつ
かに分割したエリアごとに動きベクトルを求め、各エリ
アの動きベクトルが同一方向を向いているのか、もしく
は逆方向を向いた関係になっているのかから画面全体が
平行移動しているのかズーミング動作しているのかを判
定し、ズーミング動作と判定した時には画面全体の動き
ベクトルの平均に所定の減衰定数を掛けた値を動きベク
トルとすることにより、盪影において良く用いるズーミ
ング動作を行った時にもユーザーにとって違和感の無い
動きベクトルを検出できる動きベクトル検出装置を提供
することができる効果がある。

【図面の簡単な説明】

第１図はこの発明の一実施例による画像動き補正装置を
示す構成図、第２図は第１図のアクチュエータの具体的
な構成を示す図、第３図は第１図の相対角度検出回路の
具体的な構成を示す回路図、第４図は第１図の動きベク
トル検出回路の構成を示すブロック図、第５図は第４図
の演算における画面と代表点との位置関係を示す図、第
６図は従来の電気処理による画像動き補正装置の構成を
示すブロック図、第７図は第６図の装置におけるメモリ
の書き込み、読み出し領域の様子を示す図、第８図は本
発明の第２の実施例における代表点演算回路のブロック
図、第９図は第８図の代表点演算における画像のブロッ
ク及び代表点との関係を示した図、第１Ｏ図、第１１図
は累積加算チーフルの様子を模式的に説明するための図
、第１２図は水平累積加算テーブルの様子を示した図、
第１３図は本発明の第３の実施例における動きベクトル
検出装置を示すブロック図、第１４図はブロックとエリ
アの関係の一例を示す図、第１５図は平行移動／ズーミ
ング動作判定処理の動作を説明するための図、第１６図
は一般的な代表点演算回路のブロック図、第１７図は第
１６図の従来例における画像のブロック及び代表点との
関係を示す図である。 図において、１は鏡筒部、３は支持体、５はアクチュエ
ータ、６は回転軸、１０は画像信号処理回路、１１は相
対角度検出回路、１２は動きベクトル検出回路、１３は
角速度演算手段、１４は制御演算手段、１５は駆動手段
、１２１はＡ／Ｄ変換器、１２２，１２４．１２５はラ
ッチ回路、１２３は代表点メモリ、１２７は垂直絶対値
演算回路、１２日は水平絶対値演算回路、１２９は垂直
累積加算テーブル、１３０は水平累積加算テーブル、１
３１は１次元ベクトル検出手段、１３３は２次元ベクト
ル算出手段、１４１はＡ／Ｄ変換器、１４２．１４４，
１４５はラッチ回路、１４３は代表点メモリ、１４６は
絶対値回路、１４７はスイッチ、１４８ａ〜１４８１は
エリア別累積加算テーブル、１４９ａ〜１４９１はエリ
ア別テーブル値比較回路、１５０は平行移動／ズーミン
グ判定手段、１５１は動きベクトル平均処理手段、１５
２はかけ算回路、１５３はスイッチである。 なお、図中同一符号は同一または相当するものを示す。

Claims (3)

【特許請求の範囲】
1. （１）レンズと撮像素子を搭載した鏡筒部と、前記撮像
   素子に得られる電気信号から画像信号を作り出す画像信
   号処理手段と、 前記鏡筒部への入射光線軸と直交もしくは略直交する回
   転軸回りに前記鏡筒部を回動自在に支承する支持体と、 前記鏡筒部と前記支持体の間に取り付けられ、前記鏡筒
   部と回転駆動するアクチュエータ手段と、前記鏡筒部と
   前記支持体の相対角度を検出する相対角度検出手段と、 前記画像信号処理手段から得られる画像情報の時間的に
   連続した２フレーム間の相関から画像の移動量を示す動
   きベクトルを検出する手段と、動きベクトルの検出結果
   からズーム倍率等により回転角速度を演算出力する角速
   度演算手段とを備えたことを特徴とする画像動き補正装
   置。
2. （２）画像のフレーム間移動量を検出するために、画像
   を複数に分割したブロックに設定した代表点を基に、こ
   れらの各ブロック内の画素の移動量から画面全体のベク
   トルを決定する画像動き補正装置において、 代表点の垂直方向に当たる画素に対応する累積加算テー
   ブルと代表点の水平方向に当たる画素に対応する累積加
   算テーブルから直交する２つの１次元動きベクトルを求
   める手段と、 直交する２つの１次元動きベクトルから２次元の動きベ
   クトルを算出する手段とを備えたことを特徴とする画像
   動き補正装置。
3. （３）１画面を複数のブロックに分解し、上記ブロック
   ごとに連続する２画面間の差の絶対値を求める手段と、 １画面を複数のブロックで構成される複数のエリアに分
   割し、上記ブロックごとの差の絶対値を上記エリアにわ
   たって積算しテーブルを算出する手段と、 上記エリア毎に積算したテーブルから各エリアの動きベ
   クトルを求める手段と、 上記求めた各エリアの動きベクトルから、画面全体が平
   行移動しているのかズーミング動作をしているのかを判
   定する平行移動／ズーミング判定手段と、 該平行移動／ズーミング判定手段が平行移動と判定した
   時には画面全体の動きベクトルを平均した値を動きベク
   トルとし、ズーミング動作と判定した時には画面全体の
   動きベクトルを平均した値に所定の減衰定数ｋ（０≦ｋ
   ＜１）を掛けた値を動きベクトルとして出力する手段と
   を備えたことを特徴とする画像動き補正装置。