JPH0522648A

JPH0522648A - 画像処理装置

Info

Publication number: JPH0522648A
Application number: JP3175345A
Authority: JP
Inventors: Mitsuharu Oki; 光晴大木
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1991-07-16
Filing date: 1991-07-16
Publication date: 1993-01-29
Anticipated expiration: 2015-12-11
Also published as: DE69216312T2; EP0523924A2; EP0523924A3; DE69216312D1; JP3116967B2; US5313296A; KR930003746A; EP0523924B1; KR100230033B1

Abstract

(57)【要約】【目的】動きベクトルに基づいて、手振れによる画像の
揺れをリアルタイムで補正する画像処理装置において、
動きベクトルを検出するために備えた残差メモリの容量
を縮小する。【構成】１ラインの画素データが順次入力する。減算器
３１と絶対値回路３２と加算器３３は入力する各画素デ
ータについて残差またはその途中結果を算出して残差メ
モリ３４に格納する。残差メモリ３４は格納した残差ま
たはその途中結果を、水平帰線期間を利用してフィール
ドメモリ８の遊休領域に退避し、次ラインの画像データ
の入力に備える。【効果】残差メモリ３４の容量は、従来の面対応から線
対応とすることで大幅に縮小でき、設定可能な代表点数
やブロック数を大幅に増やすことが可能となるので、よ
り的確な手振れ補正が実現できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、入力動画像データにお
けるフィールド間の動きベクトルを検出して、ビデオカ
メラにおけるフィールド間の画像の揺れを補正する手振
れ補正装置、動画像のデータ量を圧縮する画像圧縮装置
等の画像処理装置に関する。

【０００２】

【従来の技術】ビデオ撮影時のカメラ振れ等による画像
の揺れを画像処理によって補正する手振れ補正装置や、
高能率の画像伝送のためデータ量の圧縮を行なう動画像
圧縮装置等の画像処理装置において、適切な手振れ補正
や高能率のデータ圧縮を行なうには各フィールド間にお
ける画像の動きベクトルを的確に求める必要がある。

【０００３】現フィールド（＝第ｎフィールド）の前フ
ィールド（＝第（ｎ−ｉ）フィールド、但し、以下の説
明ではｉ＝１とする）に対する動きベクトルＶ（ｎ）の
検出方法について説明する。

【０００４】図６は、例えば１画面に１６個の代表点Ｐ
ｋ（ｋ＝０〜１５）を設けて動きベクトルＶを求める場
合を示す。第（ｎ−１）フィールドの代表点Ｐｋ（ｎ−
１）における画素データ（以下、代表点データという）
をＡｋ（ｎ−１）とする。第ｎフィールドの捜索範囲Ｗ
ｋ（但し、捜索原点を代表点Ｐｋ（ｎ）とし、水平方向
にＱ画素および垂直方向にＲ画素の範囲）内で、代表点
データＡｋ（ｎ−１）に対応する第ｎフィールドの画素
データＡｉｊ（ｎ）を捜索する。具体的には、例えば捜
索原点Ｐｋから捜索範囲Ｗｋ内の全ての捜索点（ｌ，
ｍ）までのベクトル（以下、ベクトル（ｌ，ｍ）とい
う）の夫々について、次式で与えられる残差Ｓ（ｌ，
ｍ）を計算する。

【０００５】

【数１】

【０００６】ここで、Ａｋ（ｌ，ｍ）（ｎ）は捜索範囲
Ｗｋ内の捜索点（ｌ，ｍ）における第ｎフィールドの画
素データである。

【０００７】全ての捜索点における残差Ｓ（ｌ，ｍ）の
うち、最小の残差をＳ（ｌ１，ｍ１）とすれば、第（ｎ
−１）フィールドに対する第ｎフィールドの動きベクト
ルＶ（ｎ）は、ベクトル（ｌ１，ｍ１）で与えらる。

【０００８】上例（図６）では、１画面全体に対して残
差Ｓを計算して動きベクトルＶを求めたが、他の例とし
て１画面を複数のブロック、例えば図７に示すように４
つのブロックＢ１，Ｂ２，Ｂ３，Ｂ４に分割し、各ブロ
ックの動きベクトルＶ１，Ｖ２，Ｖ３，Ｖ４を上例と同
様に（つまり、各ブロックを上例における画面全体に見
立てて）検出してもよい。

【０００９】この場合、各ブロックから検出された合計
４つの動きベクトルＶ１，Ｖ２，Ｖ３，Ｖ４から、例え
ば次のような判定基準により、第ｎフィールドの動きベ
クトルＶ（ｎ）を判定する。

【００１０】第１のケース：４つの動きベクトルのうち
３つ以上が同一である場合、この一致するベクトルを第
ｎフィールドの動きベクトルＶ（ｎ）とする。

【００１１】第２のケース：第１のケース以外の場合で
あり、動きベクトルＶ（ｎ）を検出不能とするか、各ブ
ロックに重み付けを行なって動きベクトルＶ（ｎ）を判
定するか、若しくは、各ブロックからの４つの動きベク
トルＶ１，Ｖ２，Ｖ３，Ｖ４と同時に画面全体の動きベ
クトルＶｗを検出し、動きベクトルＶ（ｎ）として画面
全体の動きベクトルＶｗを採用する。

【００１２】これは、複数のブロックのうちの一つ、例
えば第３ブロックＢ３の動きベクトルＶ３が、人や車等
の動体の影響によって正しく検出できないような場合に
対処しようとする方法である。

【００１３】図８および図９は従来の画像処理装置とし
ての手振れ補正装置を示すブロック図であり、それぞれ
図６および図７に対応するものである。また、図８と図
９の相違は、前者がＱ×Ｒワードの残差メモリ５４を有
するのに対して、後者は第１および第２ブロックＢ１，
Ｂ２あるいは第３および第４ブロックに対応して、それ
ぞれＱ×Ｒワードの第１および第２残差メモリ６４，６
５を有する点である。

【００１４】従って、画面を複数ブロックにブロック化
した図９について説明し、これに包含される図８につい
ての説明は省略する。

【００１５】図９に、従来の画像処理装置の一例とし
て、図７のブロック配置における手振れ補正装置のブロ
ック図を示す。

【００１６】時刻Ｔ０（図７参照）までに、第（ｎ−
１）フィールドの画像データＡｉｊ（ｎ−１）は、デー
タバスＢＵを介してフィールドメモリ８に格納され、ま
た画像データＡｉｊ（ｎ−１）のうち代表点データＡｋ
（ｎ−１）は、データバスＢＵを介して代表点メモリ２
に格納されている。

【００１７】期間Ｔ０〜Ｔ１において、入力信号１とし
て順次入力する第ｎフィールドの画像データＡｉｊ
（ｎ）は動きベクトル検出回路６に供給される。動きベ
クトル検出回路６の減算器３１により画像データＡｉｊ
（ｎ）のうち第１および第２ブロックＢ１，Ｂ２の全捜
索点の各画素データと、代表点メモリ２からデータバス
ＢＵを介して供給される代表点データＡｋ（ｎ−１）と
の差分がとられ、絶対値回路３２により差分絶対値とさ
れ、加算器３３により差分絶対値の累加算値、即ち残差
Ｓ（ｌ，ｍ）の途中結果あるいは最終結果が計算され、
第１および第２残差メモリ６４，６５に格納される。

【００１８】ここで、第１残差メモリ６４には第１ブロ
ックＢ１の全ての残差Ｓ１（ｌ，ｍ）（または、その途
中結果）が、また第２残差メモリ６５には第２ブロック
Ｂ２の全ての残差Ｓ２（ｌ，ｍ）（または、その途中結
果）が格納される。残差Ｓ１（ｌ，ｍ），Ｓ２（ｌ，
ｍ）は次のように計算される。

【００１９】

【数２】

【００２０】最小残差計算回路３９は、第１残差メモリ
６４に格納された第１ブロックＢ１の全残差Ｓ１（ｌ，
ｍ）のうち最小残差Ｓ１（ｌ１１，ｍ１１）を検出し、
第１ブロックＢ１の動きベクトルＶ１（ｌ１１，ｍ１
１）として出力する。

【００２１】ここで、最小残差Ｓ１１（ｌ１１，ｍ１
１）、次の最小残差Ｓ１２（ｌ１２，ｍ１２）、次の次
の最小残差Ｓ１３（ｌ１３，ｍ１３）、・・・を検出
し、第１ブロックの動きベクトルとして複数個の動きベ
クトルＶ１１（ｌ１１，ｍ１１），Ｖ１２（ｌ１２，ｍ
１２），Ｖ１３（ｌ１３，ｍ１３），・・・を出力する
ようにしてもよい。第１ブロックＢ１以外の各ブロック
についても同様である。

【００２２】時刻Ｔ１において、第１ブロックＢ１の動
きベクトルＶ１（ｌ１１，ｍ１１）と第２ブロックＢ２
の動きベクトルＶ２（ｌ２１，ｍ２１）が制御回路７に
出力される。

【００２３】期間Ｔ１〜Ｔ２において、第３ブロックＢ
３および第４ブロックの動きベクトルＶ３１（ｌ３１，
ｍ３１）およびＶ４１（ｌ４１，ｍ４１）が、動きベク
トル検出回路６により検出される。この期間Ｔ１〜Ｔ２
に、第１および第２残差メモリ６４，６５に格納される
各残差Ｓ３（ｌ，ｍ）およびＳ４（ｌ，ｍ）は次式で表
わされる。

【００２４】

【数３】

【００２５】第ｎフィールドの入力が終了する時刻、つ
まり時刻Ｔ２において、制御回路７は上述のような判定
基準に基づいて複数ブロックＢ１，Ｂ２，Ｂ３およびＢ
４の動きベクトルＶ１，Ｖ２，Ｖ３およびＶ４から第ｎ
フィールドの第（ｎ−１）フィールドに対する動きベク
トルＶ（ｎ）を判定し、この動きベクトルＶ（ｎ）を基
準フィールド（例えば、第１フィールド）以降の累積動
きベクトルＶｔに累加算（Ｖｔ（ｎ）＝Ｖｔ（ｎ−１）
＋Ｖ（ｎ））し、この累積動きベクトルＶｔ（ｎ）分補
正した読み出しアドレスＡＤＲをフィールドメモリ８に
出力する。

【００２６】同期間Ｔ０〜Ｔ２において、つまり、動き
ベクトルＶ１，Ｖ２，Ｖ３，Ｖ４の検出と並行して、第
ｎフィールドの画像データＡｉｊ（ｎ）のうち第ｎフィ
ールドの代表点データＡｋ（ｎ）は代表点メモリ２に取
り込まれ、使用済みの代表点データＡｋ（ｎ−１）の更
新が順次行なわれる。また、同期間Ｔ０〜Ｔ２に、フィ
ールドメモリ８に格納されている第（ｎ−１）フィール
ドの画像データＡｉｊ（ｎ−１）は、データバスＢＵを
介して補間回路９に順次出力され、出力済みの画像デー
タＡｉｊ（ｎ−１）は、第ｎフィールドの画像データＡ
ｉｊ（ｎ）により順次更新される。

【００２７】図１０は、フィールドメモリ８に格納され
る入力画像領域と、次のフィールド期間に読み出される
出力画像領域を示す図である。

【００２８】図１０において、入力画像領域は、基準フ
ィールドの出力画像領域と、想定した最大動きベクトル
に対応して基準フィールドの出力画像領域の周辺に設定
された補正領域から構成されるので、基準フィールドあ
るいは任意フィールドの出力画像領域（点線で示す）は
入力画像領域より一廻り小さな領域となる。

【００２９】出力画像領域が画枠領域よりも小さい場
合、画像データの補間による画像の拡大が必要である。

【００３０】図１１（Ａ）は、補間回路９を示すブロッ
ク図、図１１（Ｂ）は３／２倍に拡大する場合の同回路
の動作を示すタイミング図、図１２（Ｃ）は補間結果を
示す図である。

【００３１】図１１（Ａ）において、図９に示す入力信
号１は、各水平走査期間Ｈに走査線データＹｉ（但し、
ｉ＝０，１，２，・・・）として順次入力する。入力す
る走査線データＹｉは乗算器９１により係数Ｃ０が乗算
された後、加算器９５に入力する。これと同時に走査線
データＹｉは、スイッチ９２を介して１Ｈ遅延線９３に
入力し、１水平走査期間（１Ｈ）遅延した後、乗算器９
４により係数Ｃ１が乗算されて加算器９５に入力する。
加算器９５は乗算器９１，９４からの両出力を加算し、
出力走査線データｙｉを出力する。

【００３２】３／２倍に拡大する場合における補間回路
９のライン補間動作を示す図１１（Ｂ）において、各走
査線データＹｉ（Ｙ０，Ｙ１，Ｙ２，・・・）は順次図
示のように入力するが、走査線データＹ０、若しくは２
つの走査線データＹ１とＹ２，Ｙ３とＹ４，・・・を入
力した後の１水平走査期間（１Ｈ）は、ダミーデータＤ
Ｍを入力する。

【００３３】スイッチ９２は走査線データの入力期間中
はａ側に、またダミーデータＤＭの入力期間中はｂ側に
切り換えられるので、１Ｈ遅延線９３は、１水平走査期
間（１Ｈ）遅れの各走査線データＹ０，Ｙ０，Ｙ１，Ｙ
２，Ｙ２，Ｙ３，Ｙ４，Ｙ４，・・・を乗算器９４に出
力する。

【００３４】乗算器９１の係数Ｃ０は、水平走査期間
（Ｈ）に同期して、図示のように０，２／３，１／３と
なるように制御され、また乗算器９４の係数Ｃ１は、同
様に１，１／３，２／３となるように制御されるので、
加算器９５から１Ｈ遅れで出力される補正後の走査線デ
ータｙｉは次のようになる。

【００３５】

【数４】

【００３６】図１１（Ｃ）に、入力する各走査線データ
Ｙｉを実線で、また、補間後の各走査線データｙｉを点
線で示す。

【００３７】上述、垂直方向への画像拡大と同時に水平
方向への拡大も必要であるが、周知の技術であるので説
明は省略する。また、図１０において、出力画像領域と
画枠が一致する場合、上述のような画像の拡大は不要で
あるが、入力画像領域のフィールドメモリ８への書き込
みクロックを基準とすれば、出力画像領域は、同様に数
ライン毎にダミーデータＤＭを挿入して出力され、補間
回路９の代わりにデータ変換回路を用いてダミーデータ
ＤＭの除去が行なわれる。即ち、この場合でもフィール
ドメモリからデータ変換回路への出力が休止するダミー
データ送出期間が同様に存在する。

【００３８】図９において、次の第（ｎ＋１）フィール
ド期間Ｔ０〜Ｔ２（ｎ＋１）において、フィールドメモ
リ８に格納されている画像データＡｉｊ（ｎ）は、制御
回路７からの読み出しアドレスＡＤＲ（ｎ）に基づい
て、データバスＢＵを介して補間回路９に順次出力さ
れ、上述のような補間処理等の後、出力信号１０として
出力される。

【００３９】なお、上述の従来装置において、フィール
ドメモリ８の読み書きは次のように行なわれる。第（ｎ
−１）フィールドの出力画像領域のうち既に補間回路９
に出力し終った領域、並びにこの出力画像領域の外側の
出力されない領域（補正領域）に、入力する第ｎフィー
ルドの画像データＡｉｊ（ｎ）が順次重ね書きされる。

【００４０】また、上例において各捜索範囲Ｗｋに設定
される捜索点の個数は（Ｑ×Ｒ）である。

【００４１】

【発明が解決しようとする課題】上述の従来装置におい
て、１画面または各ブロックの捜索範囲Ｗｋ内に設定さ
れた全ての捜索点のそれぞれについて、残差Ｓ（ｌ，
ｍ）が計算されるので、各残差メモリ５４，６４，６５
の容量はぞれぞれ（Ｑ×Ｒ）ワードである。

【００４２】１画面を４ブロック（＝２×２）に分割し
た上例において、例えば第１プラス第２ブロック（Ｂ１
＋Ｂ２）を第５ブロックＢ５、第３プラス第４ブロック
（Ｂ３＋Ｂ４）を第６ブロックＢ６、第１プラス第２プ
ラス第３プラス第４ブロック（＝全画面）を第７ブロッ
クＢ７等とするブロック設定が可能であり、また、２×
２分割以外に例えば３×３の９分割等も可能である。こ
のような場合、従来装置ではａ個のブロック（例えば、
Ｂ１，Ｂ２，Ｂ５およびＢ７の４ブロック）の動きベク
トルを同時に検出するため、それぞれＱ×Ｒワードのａ
個の残差メモリを備えなければならない。このため、代
表点数やブロック数を増加して的確な動きベクトルを検
出しようとすると残差メモリの容量が増大し、回路規模
が大きくなってしまうという課題があった。

【００４３】そこで、この発明は、水平帰線期間等、フ
ィールドメモリの入出力が休止する期間を利用して、残
差の途中結果をフィールドメモリの余白領域に退避する
ことにより、各残差メモリの容量を従来のＱ×Ｒワード
からＱワードにそれぞれ削減した画像処理装置を提案す
るものである。

【００４４】

【課題を解決するための手段】上述の課題を解決するた
め、この発明においては、現フィールドの前フィールド
に対する画像の動きベクトルを検出し、この動きベクト
ルに基づいてフィールドメモリに格納した現フィールド
の手振れ補正および動画像圧縮を行なう画像処理装置に
おいて、任意の一水平走査線分の画像データが入力する
期間に算出される残差またはその中間結果を格納する残
差メモリを有し、画像データが入力した期間後の所定期
間に、残差メモリに格納した残差またはその中間結果を
フィールドメモリの余白領域に退避するものである。

【００４５】また、現フィールドの前フィールドに対す
る画像の動きベクトルを検出し、この動きベクトルに基
づいてフィールドメモリに格納した現フィールドの手振
れ補正および動画像圧縮を行なう画像処理装置におい
て、任意の一水平走査線分の画像データが入力する期間
に算出される残差またはその中間結果を格納する残差メ
モリを有し、フィールドメモリをマルチポートメモリで
構成し、残差メモリに格納した残差またはその中間結果
をこのフィールドメモリの余白領域に退避するものであ
る。

【００４６】

【作用】この発明の一実施例を示す図１について説明す
る。

【００４７】但し、説明を簡明とするために図３に示す
ように１フィールドの画素数を１００個、つまり画素デ
ータＡｉｊをｉ＝０〜９、ｊ＝０〜９の１００個とす
る。また、捜索範囲Ｗ０をｉ＝０〜４かつｊ＝０〜４、
捜索範囲Ｗ１をｉ＝０〜４かつｊ＝５〜９、捜索範囲Ｗ
２をｉ＝５〜９かつｊ＝０〜４、並びに捜索範囲Ｗ３を
ｉ＝５〜９かつｊ＝５〜９とする。

【００４８】即ち、捜索範囲Ｗｋ（ｋ＝０〜３）はＱ＝
５，Ｒ＝５のサイズであり、ｌ＝−２，−１，０，１，
２、およびｍ＝−２，−１，０，１，２なる２５個のベ
クトル（ｌ，ｍ）について残差Ｓ（ｌ，ｍ）を計算す
る。

【００４９】１）任意のフィールド（第ｎフィールド）
の開始時点Ｔ０（ｎ）における状態は次の通りである。

【００５０】１−１）代表点メモリ２には第（ｎ−１）
フィールドの代表点Ｐｋにおける画素データＡｋ（ｎ−
１）が格納されている。

【００５１】ここで、代表点Ｐｏの画素データＡ０（ｎ
−１）＝Ａ２２（ｎ−１）、代表点Ｐ１の画素データＡ
１（ｎ−１）＝Ａ２７（ｎ−１）、代表点Ｐ２の画素デ
ータＡ２（ｎ−１）＝Ａ７２（ｎ−１）、並びに代表点
Ｐ３の画素データＡ３（ｎ−１）＝Ａ７７（ｎ−１）で
ある。

【００５２】１−２）制御回路７は、動きベクトル検出
回路３の出力する第（ｎ−１）フィールドの動きベクト
ルＶ（ｎ−１）を入力とし、基準フィールド（例えば、
第１フィールド）以降の累積動きベクトルＶｔにこの動
きベクトルＶ（ｎ−１）を累加算して累積動きベクトル
Ｖｔを更新し、この更新された累積動きベクトル分補正
した読み出しアドレスＡＤＲをフィールドメモリ８に出
力する。

【００５３】１−３）フィールドメモリ８には第（ｎ−
１）フィールドの画素データＡｉｊ（ｎ−１）が格納さ
れている。

【００５４】２）第ｎフィールド期間における動作を次
に説明する。

【００５５】２−１）第０水平走査期間における動作は
次の通りである。

【００５６】２−１−１）５（＝Ｑ）ワード（アドレス
０〜４）の残差メモリ３４をクリアする。

【００５７】２−１−２）捜索範囲Ｗ０（ｋ＝０）の画
素データＡ００が入力し、また代表点メモリ２からは代
表点Ｐ０（ｋ＝０）の画素データＡ０（ｎ−１）が読み
出され、減算器３１と絶対値回路３２は残差（−２，−
２）の第１部分項、つまり差分絶対値｜Ａ００−Ａ０
（ｎ−１）｜を計算する。加算器３３は、残差メモリ３
４のアドレス０に格納された残差Ｓ（−２，−２）の途
中結果（＝０）を読み出し、これに第１部分項を加算
し、この加算結果を残差メモリ３４のアドレス０に格納
する。

【００５８】順次入力する捜索範囲Ｗ０の画素データＡ
０１，Ａ０２，Ａ０３およびＡ０４についても同様に残
差Ｓ（−１，−２），Ｓ（０，−２），Ｓ（１，−２）
およびＳ（２，−２）の第１部分項を計算し、これに残
差メモリ３４のアドレス１，２，３および４に格納され
ている残差Ｓ（−１，−２），Ｓ（０，−２），Ｓ
（１，−２）およびＳ（２，−２）の途中結果（＝０）
を加算し、加算結果を残差メモリ３４のアドレス１，
２，３および４に順次格納する。

【００５９】２−１−３）捜索範囲Ｗ１（ｋ＝１）の画
素データＡ０５が入力し、また代表点メモリ２からは代
表点Ｐ１（ｋ＝１）の画素データＡ１（ｎ−１）が読み
出され、減算器３１と絶対値回路３２は残差（−２，−
２）の第２部分項、つまり差分絶対値｜Ａ０５−Ａ１
（ｎ−１）｜を計算する。加算器３３は、残差メモリ３
４のアドレス０に格納された残差Ｓ（−２，−２）の途
中結果（＝｜Ａ００−Ａ０（ｎ−１）｜）を読み出し、
これに第２部分項を加算し、この加算結果を残差メモリ
３４のアドレス０に格納する。

【００６０】順次入力する捜索範囲Ｗ１の画素データＡ
０６，Ａ０７，Ａ０８およびＡ０９についても同様に残
差Ｓ（−１，−２），Ｓ（０，−２），Ｓ（１，−２）
およびＳ（２，−２）の第２部分項を計算し、これに残
差メモリ３４のアドレス１，２，３および４に格納され
ている残差Ｓ（−１，−２），Ｓ（０，−２），Ｓ
（１，−２）およびＳ（２，−２）の途中結果を加算
し、加算結果を残差メモリ３４のアドレス１，２，３お
よび４に順次格納する。

【００６１】２−１−４）画素データＡ０９の入力後、
画素データＡ１０の入力までの水平帰線期間に、残差メ
モリ３４の全内容、即ちアドレス０〜４の内容をデータ
バスＢＵを介してフィールドメモリ８の余白領域のアド
レス０〜４に退避（重ね書き）する。この結果、フィー
ルドメモリ８の余白領域のアドレス０〜４には、残差Ｓ
（ｌ，−２）、即ち、Ｓ（−２，−２），Ｓ（−１，−
２），Ｓ（０，−２）Ｓ（１，−２）およびＳ（２，−
２）の途中結果（第１部分項と第２部分項の和）がこの
順序で格納される。

【００６２】２−２）第１〜第４水平走査期間（ｉ＝１
〜４）においても、上記「２−１）項」と同様の処理が
行なわれ、残差Ｓ（ｌ，−１），Ｓ（ｌ，０），Ｓ
（ｌ，１）およびＳ（ｌ，２）の途中結果（第１部分項
と第２部分項の和）がフィールドメモリ８の余白領域の
アドレス５〜２４に順次格納される。

【００６３】２−３）第５水平走査期間における動作は
次の通りである。

【００６４】２−３−１）フィールドメモリ８の余白領
域のアドレス０〜４の内容を５（＝Ｑ）ワードの残差メ
モリ３４のアドレス０〜４に書き込む（リストアす
る）。

【００６５】２−３−２）捜索範囲Ｗ２（ｋ＝２）の画
素データＡ５０が入力し、また代表点メモリ２からは代
表点Ｐ２（ｋ＝２）の画素データＡ２（ｎ−１）が読み
出され、減算器３１と絶対値回路３２は残差（−２，−
２）の第３部分項、つまり差分絶対値｜Ａ５０−Ａ２
（ｎ−１）｜を計算する。加算器３３は、残差メモリ３
４のアドレス０に格納された残差Ｓ（−２，−２）の途
中結果（｜Ａ００−Ａ０（ｎ−１）｜＋｜Ａ０５−Ａ１
（ｎ−１）｜）を読み出し、これに第３部分項を加算
し、この加算結果を残差メモリ３４のアドレス０に格納
する。

【００６６】順次入力する捜索範囲Ｗ２の画素データＡ
５１，Ａ５２，Ａ５３およびＡ５４についても同様に残
差Ｓ（−１，−２），Ｓ（０，−２），Ｓ（１，−２）
およびＳ（２，−２）の第３部分項を計算し、これに残
差メモリ３４のアドレス１，２，３および４に格納され
ている残差Ｓ（−１，−２），Ｓ（０，−２），Ｓ
（１，−２）およびＳ（２，−２）の途中結果を加算
し、加算結果を残差メモリ３４のアドレス１，２，３お
よび４に順次格納する。

【００６７】２−３−３）捜索範囲Ｗ３（ｋ＝３）の画
素データＡ５５が入力し、また代表点メモリ２からは代
表点Ｐ３（ｋ＝３）の画素データＡ３（ｎ−１）が読み
出され、減算器３１と絶対値回路３２は残差（−２，−
２）の第４部分項、つまり差分絶対値｜Ａ５５−Ａ３
（ｎ−１）｜を計算する。加算器３３は、残差メモリ３
４のアドレス０に格納された残差Ｓ（−２，−２）の途
中結果（＝｜Ａ００−Ａ０（ｎ−１）｜＋｜Ａ０５−Ａ
１（ｎ−１）｜＋｜Ａ５０−Ａ２（ｎ−１）｜）を読み
出し、これに第４部分項を加算し、この加算結果、即ち
残差Ｓ（−２，−２）を残差メモリ３４のアドレス０に
格納する。

【００６８】順次入力する捜索範囲Ｗ３の画素データＡ
５６，Ａ５７，Ａ５８およびＡ５９についても同様に残
差Ｓ（−１，−２），Ｓ（０，−２），Ｓ（１，−２）
およびＳ（２，−２）の第４部分項を計算し、これに残
差メモリ３４のアドレス１，２，３および４に格納され
ている残差Ｓ（−１，−２），Ｓ（０，−２），Ｓ
（１，−２）およびＳ（２，−２）の途中結果を加算
し、加算結果、即ち残差Ｓ（−１，−２），Ｓ（０，−
２），Ｓ（１，−２）およびＳ（２，−２）を残差メモ
リ３４のアドレス１，２，３および４に順次格納する。

【００６９】２−３−４）画素データＡ５９の入力後、
画素データＡ６０の入力までの水平帰線期間に、残差メ
モリ３４の全内容、即ちアドレス０〜４の内容をデータ
バスＢＵを介してフィールドメモリ８の余白領域のアド
レス０〜４に退避（重ね書き）する。この結果、フィー
ルドメモリ８の余白領域のアドレス０〜４には、残差Ｓ
（ｌ，−２）、即ち、Ｓ（−２，−２），Ｓ（−１，−
２），Ｓ（０，−２）Ｓ（１，−２）およびＳ（２，−
２）がこの順序で格納される。

【００７０】２−４）第６〜第８水平走査期間（ｉ＝６
〜８）においても、上記「２−３）項」と同様の処理が
行なわれ、残差Ｓ（ｌ，−１），Ｓ（ｌ，０）およびＳ
（ｌ，１）がフィールドメモリ８の余白領域のアドレス
５〜１９に順次格納される。

【００７１】また、第９水平走査期間（ｉ＝９）におい
て、同様に計算された残差Ｓ（ｌ，２）は残差メモリ３
４のアドレス０〜４にそれぞれ格納される。

【００７２】２−５）第ｎフィールドの最終画素データ
Ａ９９の入力後、最小残差計算回路３９は、フィールド
メモリ８の余白領域のアドレス０〜１９に格納された２
０個の残差Ｓ（ｌ，ｍ）（但し、ｌ＝−２〜２，ｍ＝−
２〜１）と残差メモリ３４に格納された５個の残差Ｓ
（ｌ，２）のうちの最小残差Ｓ（ｌ１，ｍ１）を検出
し、ベクトル（ｌ１，ｍ１）を第ｎフィールドの第（ｎ
−１）フィールドに対する動きベクトルＶ（ｎ）として
制御回路７に出力する。

【００７３】２−６）代表点メモリ２に格納されている
代表点データＡｋ（ｎ−１）のうち既に残差計算に使用
され不要となった代表点データは、入力する画素データ
Ａｉｊ（ｎ）に含まれる代表点データＡｋ（ｎ）によっ
て順次更新される。

【００７４】２−７）フィールドメモリ８は、読み出し
アドレスＡＤＲ（ｎ−１）により第（ｎ−１）フィール
ドの画素データＡｉｊ（ｎ−１）をデータバスＢＵを介
して補間回路９に出力すると同時に、順次入力する第ｎ
フィールドの画素データＡｉｊ（ｎ）を既に出力が終了
して不要となった画素データＡｉｊ（ｎ−１）の上に順
次重ね書きする。

【００７５】２−８）補間回路９は、フィールドメモリ
８から入力する画素データＡｉｊ（ｎ−１）に補間処理
を施し、画枠を満たすように拡大して第（ｎ−１）フィ
ールドの出力信号１０とする。

【００７６】上記「２−１）項」乃至「２−８）項」を
引き続くフィールド、即ち第（ｎ＋１）、第（ｎ＋
２）、・・・フィールドに対して繰り返し実行すること
により、この発明をビデオカメラ等における手振れ補正
装置に適用した場合には、フィールド間の画像の揺れを
リアルタイムで補正する手振れ補正が、また画像伝送に
おける動画像圧縮装置に適用した場合には、リアルタイ
ムの画像データ圧縮が残差メモリの容量を従来のＱ×Ｒ
ワードからＱワードに、即ち１／Ｒに抑えながら可能と
なる。

【００７７】

【実施例】続いて、この発明に係る画像処理装置をビデ
オカメラ等の手振れ補正装置に適用した場合の実施例に
ついて、図面を参照して詳細に説明する。

【００７８】図１は、この発明の一実施例を示すブロッ
ク図であり、従来例（図８）における動きベクトル検出
回路５の残差メモリ５４（但し、メモリ容量はＱ×Ｒワ
ード）を動きベクトル検出回路３の残差メモリ３４（但
し、メモリ容量はＱワード）に縮小し、残差メモリ３４
に格納したＱ個の残差または残差途中結果を水平帰線期
間に残差メモリ３４からフィールドメモリ８の余白領域
にデータバスＢＵを介して退避すると共に、次の水平走
査期間に必要となるＱ個の残差途中結果をフィールドメ
モリ８の余白領域から残差メモリ３４にデータバスＢＵ
を介して書き込む（リストアする）ように構成したもの
である。

【００７９】フィールドメモリ８の余白領域について説
明する。

【００８０】任意フィールド（以下、第ｎフィールドと
いう）の動画像入力データＡｉｊ（ｎ）を２４００００
ワード（水平走査線当り５００画素、フィールド当り４
８０走査線）とする。この場合、メモリ容量は２の累乗
として与えられるので、フィールドメモリ８の容量は
「２の１８乗」（＝２６２１４４）ワードに選定され
る。両ワード数間の差をフィールドメモリ８の余白領域
と呼び、この発明においては従来未使用のこの余白領域
に、残差メモリ３４に記憶中の残差または残差途中結果
を退避することにより、残差メモリ３４の容量を一水平
走査線における残差計算に相当する容量、即ちＱワード
に縮小する。

【００８１】図１に示す一実施例の動作について説明す
る。但し、説明を簡明とするため、図２に示すように、
第ｎフィールドは水平走査線当り１０画素（ｊ＝０〜
９）、フィールド当り１０走査線（ｉ＝０〜９）で構成
されるものとする。即ち、画素データＡｉｊ（ｎ）はＡ
００〜Ａ９９の１００ワードである。また、図３に示す
ように、代表点Ｐｋおよび動きベクトルの捜索範囲Ｗｋ
（但し、ｋ＝０〜３）を設定するものとする。即ち、捜
索範囲Ｗ０は画素データＡｉｊ（但し、ｉ＝０〜４、ｊ
＝０〜４）を、捜索範囲Ｗ１は画素データＡｉｊ（但
し、ｉ＝０〜４、ｊ＝５〜９）を、捜索範囲Ｗ２は画素
データＡｉｊ（但し、ｉ＝５〜９、ｊ＝０〜４）、並び
に、捜索範囲Ｗ３は画素データＡｉｊ（但し、ｉ＝５〜
９、ｊ＝５〜９）を含むように設定される。従って、捜
索範囲Ｗｋの水平方向および垂直方向のサイズはそれぞ
れＱ＝５およびＲ＝５、残差メモリ３４の容量は５（＝
Ｑ）ワード（アドレス０〜４）、計算すべき残差Ｓ
（ｌ，ｍ）の数は２５個（ｌ＝−２，−１，０，１，２
およびｍ＝−２，−１，０，１，２）、残差Ｓ（ｌ，
ｍ）またはその途中結果を退避するフィールドメモリ８
の余白領域は２５ワード（アドレス０〜２４）である。

【００８２】図１において、第ｎフィールドの開始時刻
Ｔ０（ｎ）での各部の状態は次の通りである。なお、こ
れらの状態とは、後述する第ｎフィールド期間における
各部の動作が第（ｎ−１）フィールド期間にも同様に実
行された結果としてもたらされるものである。

【００８３】１）代表点メモリ２には第（ｎ−１）フィ
ールドの代表点Ｐｋにおける画素データＡｋ（ｎ−１）
が格納されている。

【００８４】ここで、代表点Ｐ０の画素データＡ０（ｎ
−１）＝Ａ２２（ｎ−１）、代表点Ｐ１の画素データＡ
１（ｎ−１）＝Ａ２７（ｎ−１）、代表点Ｐ２の画素デ
ータＡ２（ｎ−１）＝Ａ７２（ｎ−１）、並びに代表点
Ｐ３の画素データＡ３（ｎ−１）＝Ａ７７（ｎ−１）で
ある。

【００８５】２）制御回路７は、動きベクトル検出回路
３の出力する第（ｎ−１）フィールドの動きベクトルＶ
（ｎ−１）を入力とし、基準フィールド（例えば、第１
フィールド）以降の累積動きベクトルＶｔにこの動きベ
クトルＶ（ｎ−１）を累加算して累積動きベクトルＶｔ
を更新し、この更新された累積動きベクトルＶｔ分だけ
補正した読み出しアドレスＡＤＲをフィールドメモリ８
に出力する。

【００８６】３）フィールドメモリ８には第（ｎ−１）
フィールドの画素データＡｉｊ（ｎ−１）が格納されて
いる。

【００８７】次に、第ｎフィールド期間における動作を
次に説明する。

【００８８】１）第０水平走査期間（ｉ＝０）における
動作は次の通りである。

【００８９】１−１）５（＝Ｑ）ワード（アドレス０〜
４）の残差メモリ３４をクリアする。

【００９０】１−２）捜索範囲Ｗ０（ｋ＝０）の画素デ
ータＡ００が入力し、また代表点メモリ２から代表点Ｐ
０（ｋ＝０）の画素データＡ０（ｎ−１）がデータバス
ＢＵを介して読み出され、減算器３１と絶対値回路３２
は残差（−２，−２）の第１部分項、つまり差分絶対値
｜Ａ００−Ａ０（ｎ−１）｜を計算する。加算器３３
は、残差メモリ３４のアドレス０に格納された残差Ｓ
（−２，−２）の途中結果（＝０）を読み出し、これに
第１部分項｜Ａ００−Ａ０（ｎ−１）｜を加算し、この
加算結果（＝０＋｜Ａ００−Ａ０（ｎ−１）｜）を残差
メモリ３４のアドレス０に格納する。

【００９１】順次入力する捜索範囲Ｗ０の画素データＡ
０１，Ａ０２，Ａ０３，およびＡ０４についても同様に
残差Ｓ（−１，−２），Ｓ（０，−２），Ｓ（１，−
２）およびＳ（２，−２）の第１部分項｜Ａ０１−Ａ０
（ｎ−１）｜，｜Ａ０２−Ａ０（ｎ−１）｜，｜Ａ０３
−Ａ０（ｎ−１）｜および｜Ａ０４−Ａ０（ｎ−１）｜
を計算し、これに残差メモリ３４のアドレス１，２，３
および４に格納されている残差Ｓ（−１，−２），Ｓ
（０，−２），Ｓ（１，−２）およびＳ（２，−２）の
途中結果（いずれも０）を加算し、加算結果｜Ａ０１−
Ａ０（ｎ−１）｜，｜Ａ０２−Ａ０（ｎ−１）｜，｜Ａ
０３−Ａ０（ｎ−１）｜および｜Ａ０４−Ａ０（ｎ−
１）｜を残差メモリ３４のアドレス１，２，３および４
に順次格納する。

【００９２】１−３）捜索範囲Ｗ１（ｋ＝１）の画素デ
ータＡ０５が入力し、また代表点メモリ２からは代表点
Ｐ１（ｋ＝１）の画素データＡ１（ｎ−１）が読み出さ
れ、減算器３１と絶対値回路３２は残差（−２，−２）
の第２部分項、つまり差分絶対値｜Ａ０５−Ａ１（ｎ−
１）｜を計算する。加算器３３は、残差メモリ３４のア
ドレス０に格納された残差Ｓ（−２，−２）の途中結果
（＝｜Ａ００−Ａ０（ｎ−１）｜）を読み出し、これに
第２部分項｜Ａ０５−Ａ１（ｎ−１）｜を加算し、この
加算結果（｜Ａ００−Ａ０（ｎ−１）｜＋｜Ａ０５−Ａ
１（ｎ−１）｜）を残差メモリ３４のアドレス０に格納
する。

【００９３】順次入力する捜索範囲Ｗ１の画素データＡ
０６，Ａ０７，Ａ０８およびＡ０９についても同様に残
差Ｓ（−１，−２），Ｓ（０，−２），Ｓ（１，−２）
およびＳ（２，−２）の第２部分項｜Ａ０６−Ａ１（ｎ
−１）｜，｜Ａ０７−Ａ１（ｎ−１）｜，｜Ａ０８−Ａ
１（ｎ−１）｜および｜Ａ０９−Ａ１（ｎ−１）｜を計
算し、これに残差メモリ３４のアドレス１，２，３およ
び４に格納されている残差Ｓ（−１，−２），Ｓ（０，
−２），Ｓ（１，−２）およびＳ（２，−２）の途中結
果（｜Ａ０１−Ａ０（ｎ−１）｜，｜Ａ０２−Ａ０（ｎ
−１）｜，｜Ａ０３−Ａ０（ｎ−１）｜および｜Ａ０４
−Ａ０（ｎ−１）｜）を加算し、加算結果（｜Ａ０１−
Ａ０（ｎ−１）｜＋｜Ａ０６−Ａ１（ｎ−１）｜，｜Ａ
０２−Ａ０（ｎ−１）｜＋｜Ａ０７−Ａ１（ｎ−１）
｜，｜Ａ０３−Ａ０（ｎ−１）｜＋｜Ａ０８−Ａ１（ｎ
−１）｜および｜Ａ０４−Ａ０（ｎ−１）｜＋｜Ａ０９
−Ａ１（ｎ−１）｜）を残差メモリ３４のアドレス１，
２，３および４に順次格納する。

【００９４】１−４）画素データＡ０９の入力後、画素
データＡ１０の入力までの水平帰線期間に、残差メモリ
３４の全内容、即ちアドレス０〜４の内容（｜Ａ０１−
Ａ０（ｎ−１）｜＋｜Ａ０６−Ａ１（ｎ−１）｜，｜Ａ
０２−Ａ０（ｎ−１）｜＋｜Ａ０７−Ａ１（ｎ−１）
｜，｜Ａ０３−Ａ０（ｎ−１）｜＋｜Ａ０８−Ａ１（ｎ
−１）｜および｜Ａ０４−Ａ０（ｎ−１）｜＋｜Ａ０９
−Ａ１（ｎ−１）｜）をデータバスＢＵを介してフィー
ルドメモリ８の余白領域のアドレス０〜４に退避（重ね
書き）する。この結果、フィールドメモリ８の余白領域
のアドレス０〜４には、残差Ｓ（ｌ，−２）、即ち、Ｓ
（−２，−２），Ｓ（−１，−２），Ｓ（０，−２），
Ｓ（１，−２）およびＳ（２，−２）の途中結果（第１
部分項と第２部分項の和）がこの順序で格納される。

【００９５】２）第１〜第４水平走査期間（ｉ＝１〜
４）においても、上記「１）項」と同様の処理が行なわ
れ、残差Ｓ（ｌ，−１），Ｓ（ｌ，０），Ｓ（ｌ，１）
およびＳ（ｌ，２）の途中結果（第１部分項と第２部分
項の和）がフィールドメモリ８の余白領域のアドレス５
〜２４に順次格納される。

【００９６】３）第５水平走査期間における動作は次の
通りである。

【００９７】３−１）フィールドメモリ８の余白領域の
アドレス０〜４の内容（｜Ａ００−Ａ０（ｎ−１）｜＋
｜Ａ０５−Ａ１（ｎ−１）｜，｜Ａ０１−Ａ０（ｎ−
１）｜＋｜Ａ０６−Ａ１（ｎ−１）｜，｜Ａ０２−Ａ０
（ｎ−１）｜＋｜Ａ０７−Ａ１（ｎ−１）｜，｜Ａ０３
−Ａ０（ｎ−１）｜＋｜Ａ０８−Ａ１（ｎ−１）｜およ
び｜Ａ０４−Ａ０（ｎ−１）｜＋｜Ａ０９−Ａ１（ｎ−
１）｜）を５（＝Ｑ）ワードの残差メモリ３４のアドレ
ス０〜４に書き込む（リストアする）。

【００９８】３−２）捜索範囲Ｗ２（ｋ＝２）の画素デ
ータＡ５０が入力し、また代表点メモリ２からは代表点
Ｐ２（ｋ＝２）の画素データＡ２（ｎ−１）が読み出さ
れ、減算器３１と絶対値回路３２は残差（−２，−２）
の第３部分項、つまり差分絶対値｜Ａ５０−Ａ２（ｎ−
１）｜を計算する。加算器３３は、残差メモリ３４のア
ドレス０に格納された残差Ｓ（−２，−２）の途中結果
（｜Ａ００−Ａ０（ｎ−１）｜＋｜Ａ０５−Ａ１（ｎ−
１）｜）を読み出し、これに第３部分項｜Ａ５０−Ａ２
（ｎ−１）｜を加算し、この加算結果（｜Ａ００−Ａ０
（ｎ−１）｜＋｜Ａ０５−Ａ１（ｎ−１）｜＋｜Ａ５０
−Ａ２（ｎ−１）｜を残差メモリ３４のアドレス０に格
納する。

【００９９】順次入力する捜索範囲Ｗ２の画素データＡ
５１，Ａ５２，Ａ５３およびＡ５４についても同様に残
差Ｓ（−１，−２），Ｓ（０，−２），Ｓ（１，−２）
およびＳ（２，−２）の第３部分項（｜Ａ５１−Ａ２
（ｎ−１）｜，｜Ａ５２−Ａ２（ｎ−１）｜，｜Ａ５３
−Ａ２（ｎ−１）｜および｜Ａ５４−Ａ２（ｎ−１）
｜）を計算し、これに残差メモリ３４のアドレス１，
２，３および４に格納されている残差Ｓ（−１，−
２），Ｓ（０，−２），Ｓ（１，−２）およびＳ（２，
−２）の途中結果（｜Ａ０１−Ａ０（ｎ−１）｜＋｜Ａ
０６−Ａ１（ｎ−１）｜，｜Ａ０２−Ａ０（ｎ−１）｜
＋｜Ａ０７−Ａ１（ｎ−１）｜，｜Ａ０３−Ａ０（ｎ−
１）｜＋｜Ａ０８−Ａ１（ｎ−１）｜および｜Ａ０４−
Ａ０（ｎ−１）｜＋｜Ａ０９−Ａ１（ｎ−１）｜）を加
算し、加算結果（｜Ａ０１−Ａ０（ｎ−１）｜＋｜Ａ０
６−Ａ１（ｎ−１）｜＋｜Ａ５１−Ａ２（ｎ−１）｜，
｜Ａ０２−Ａ０（ｎ−１）｜＋｜Ａ０７−Ａ１（ｎ−
１）｜＋｜Ａ５２−Ａ２（ｎ−１）｜，｜Ａ０３−Ａ０
（ｎ−１）｜＋｜Ａ０８−Ａ１（ｎ−１）｜＋｜Ａ５３
−Ａ２（ｎ−１）｜および｜Ａ０４−Ａ０（ｎ−１）｜
＋｜Ａ０９−Ａ１（ｎ−１）｜＋｜Ａ５４−Ａ２（ｎ−
１）｜）を残差メモリ３４のアドレス１，２，３および
４に順次格納する。

【０１００】３−３）捜索範囲Ｗ３（ｋ＝３）の画素デ
ータＡ５５が入力し、また代表点メモリ２からは代表点
Ｐ３（ｋ＝３）の画素データＡ３（ｎ−１）が読み出さ
れ、減算器３１と絶対値回路３２は残差（−２，−２）
の第４部分項、つまり差分絶対値｜Ａ５５−Ａ３（ｎ−
１）｜を計算する。加算器３３は、残差メモリ３４のア
ドレス０に格納された残差Ｓ（−２，−２）の途中結果
（｜Ａ００−Ａ０（ｎ−１）｜＋｜Ａ０５−Ａ１（ｎ−
１）｜＋｜Ａ５０−Ａ２（ｎ−１）｜）を読み出し、こ
れに第４部分項（｜Ａ５５−Ａ３（ｎ−１）｜）を加算
し、この加算結果、即ち残差Ｓ（−２，−２）（＝｜Ａ
００−Ａ０（ｎ−１）｜＋｜Ａ０５−Ａ１（ｎ−１）｜
＋｜Ａ５０−Ａ２（ｎ−１）｜＋｜Ａ５５−Ａ３（ｎ−
１）｜）を残差メモリ３４のアドレス０に格納する。

【０１０１】順次入力する捜索範囲Ｗ３の画素データＡ
５６，Ａ５７，Ａ５８およびＡ５９についても同様に残
差Ｓ（−１，−２），Ｓ（０，−２），Ｓ（１，−２）
およびＳ（２，−２）の第４部分項｜Ａ５６−Ａ３（ｎ
−１）｜，｜Ａ５７−Ａ３（ｎ−１）｜，｜Ａ５８−Ａ
３（ｎ−１）｜および｜Ａ５９−Ａ３（ｎ−１）｜を計
算し、これに残差メモリ３４のアドレス１，２，３およ
び４に格納されている残差Ｓ（−１，−２），Ｓ（０，
−２），Ｓ（１，−２）およびＳ（２，−２）の途中結
果（｜Ａ０１−Ａ０（ｎ−１）｜＋｜Ａ０６−Ａ１（ｎ
−１）｜＋｜Ａ５１−Ａ２（ｎ−１）｜，｜Ａ０２−Ａ
０（ｎ−１）｜＋｜Ａ０７−Ａ１（ｎ−１）｜＋｜Ａ５
２−Ａ２（ｎ−１）｜，｜Ａ０３−Ａ０（ｎ−１）｜＋
｜Ａ０８−Ａ１（ｎ−１）｜＋｜Ａ５３−Ａ２（ｎ−
１）｜および｜Ａ０４−Ａ０（ｎ−１）｜＋｜Ａ０９−
Ａ１（ｎ−１）｜＋｜Ａ５４−Ａ２（ｎ−１）｜）を加
算し、加算結果、即ち残差Ｓ（−１，−２），Ｓ（０，
−２），Ｓ（１，−２）およびＳ（２，−２）を残差メ
モリ３４のアドレス１，２，３および４に順次格納す
る。３−４）画素データＡ５９の入力後、画素データＡ
６０の入力までの水平帰線期間に、残差メモリ３４の全
内容、即ちアドレス０〜４の内容をデータバスＢＵを介
してフィールドメモリ８の余白領域のアドレス０〜４に
退避（重ね書き）する。この結果、フィールドメモリ８
の余白領域のアドレス０〜４には、残差Ｓ（ｌ，−
２）、即ち、Ｓ（−２，−２），Ｓ（−１，−２），Ｓ
（０，−２），Ｓ（１，−２）およびＳ（２，−２）が
この順序で格納される。

【０１０２】４）第６〜第８水平走査期間（ｉ＝６〜
８）においても、上記「３）項」と同様の処理が行なわ
れ、残差Ｓ（ｌ，−１），Ｓ（ｌ，０）およびＳ（ｌ，
１）がフィールドメモリ８の余白領域のアドレス５〜１
９に順次格納される。

【０１０３】また、第９水平走査期間（ｉ＝９）におい
て、同様に計算された残差Ｓ（ｌ，２）は残差メモリ３
４のアドレス０〜４にそれぞれ格納されている。

【０１０４】５）第ｎフィールドの最終画素データＡ９
９の入力後、最小残差計算回路３９は、フィールドメモ
リ８の余白領域のアドレス０〜１９に格納された２０個
の残差Ｓ（ｌ，ｍ）（但し、ｌ＝−２〜２，ｍ＝−２〜
１）と残差メモリ３４に格納れさた５個の残差Ｓ（ｌ，
２）のうちの最小残差Ｓ（ｌ１，ｍ１）を検出し、ベク
トル（ｌ１，ｍ１）を第ｎフィールドの第（ｎ−１）フ
ィールドに対する動きベクトルＶ（ｎ）として制御回路
７に出力する。

【０１０５】６）代表点メモリ２に格納されている代表
点データＡｋ（ｎ−１）のうち、既に残差計算に使用さ
れ不要となった代表点データは、入力する画素データＡ
ｉｊ（ｎ）に含まれる代表点データＡｋ（ｎ）、つまり
Ａ０（ｎ）＝Ａ２２（ｎ），Ａ１（ｎ）＝Ａ２７
（ｎ），Ａ２（ｎ）＝Ａ７２（ｎ）およびＡ３（ｎ）＝
Ａ７７（ｎ）によって順次更新される。

【０１０６】７）フィールドメモリ８は、読み出しアド
レスＡＤＲ（ｎ−１）により第（ｎ−１）フィールドの
画素データＡｉｊ（ｎ−１）をデータバスＢＵを介して
補間回路９に出力すると同時に、順次入力する第ｎフィ
ールドの画素データＡｉｊ（ｎ）を既に出力が終了して
不要となった画素データＡｉｊ（ｎ−１）の領域に順次
重ね書きする。

【０１０７】８）補間回路９は、フィールドメモリ８か
ら入力する画素データＡｉｊ（ｎ−１）に補間処理を施
し、画枠を満たすように拡大して第（ｎ−１）フィール
ドの出力信号１０とする。

【０１０８】上記「１）項」乃至「８）項」を引き続く
フィールド、即ち第（ｎ＋１）、第（ｎ＋２）、・・・
フィールドに対して繰り返し実行することにより、この
発明をビデオカメラ等における手振れ補正装置に適用し
た場合には、フィールド間の画像の揺れをリアルタイム
で補正する手振れ補正が、また画像伝送における動画像
圧縮装置に適用した場合には、リアルタイムの画像デー
タ圧縮が残差メモリの容量を従来のＱ×ＲワードからＱ
ワードに、即ち１／Ｒに抑えながら可能となる。

【０１０９】図４は、動きベクトル検出回路３の動作を
示す説明図であり、上述の説明を要約したものであるの
で、その説明は省略する。

【０１１０】図５は、この発明の他の実施例を示すブロ
ック図であり、従来例（図９）における動きベクトル検
出回路６の第１および第２残差メモリ６４，６５（共に
メモリ容量はＱ×Ｒワード）を動きベクトル検出回路４
の第１および第２残差メモリ４４，４５（共に、メモリ
容量はＱワード）に縮小し、残差メモリ４４中の第１ま
たは第３ブロックのＱ個の残差またはその途中結果と、
残差メモリ４５中の第２または第４ブロックのＱ個の残
差またはその途中結果とを、水平帰線期間に残差メモリ
４４，４５からフィールドメモリ８の余白領域にデータ
バスＢＵを介して退避すると共に、次の水平走査期間に
必要となるそれぞれＱ個の残差途中結果をフィールドメ
モリ８の余白領域から残差メモリ４４，４５にデータバ
スＢＵを介して書き込む（リストアする）ように構成し
たものである。

【０１１１】容量がＱワードに縮小された第１および第
２残差メモリ４４，４５の動作は前述した一実施例（図
１）における残差メモリ３４と同様であり、また、画面
を複数ブロックに分割した場合に各ブロックの動きベク
トルを検出する動きベクトル検出回路４の動作は他の従
来例（図９）において詳述したところと同様であるの
で、図５についての説明を省略する。

【０１１２】なお、残差メモリからフィールドメモリへ
の退避、およびフィールドメモリから残差メモリへのリ
ストアを実行する所定の期間として上述の実施例では水
平帰線期間を挙げて説明したが、前述したダミーデータ
送出期間および垂直帰線期間を併用してもよい。また、
この発明の実施例におけるフィールドメモリ８として、
２入力２出力のマルチポートメモリを使用した場合に
は、上記の退避およびリストアの実行は、水平帰線期
間、ダミーデータ送出期間および垂直帰線期間からなる
所定期間に限定されることはない。

【０１１３】また、この発明にかかる画像処理装置をビ
デオカメラ等の手振れ補正装置に適用した実施例につい
て上述したが、画像通信等において動画像のデータ量を
圧縮する動画像圧縮装置に適用する場合、上述の動きベ
クトルを画面全体または各ブロックの動きベクトルと
し、例えば画面全体または各ブロック毎に動きベクトル
分シフトした画像データの差分をとることにより、小容
量の残差メモリを用いての画像データ圧縮がリアルタイ
ムで達成できる。

【０１１４】更に、代表点を画面内に正方格子状に４点
または１６点設定する例について上述したが、六方格子
状等でもよく、代表点数も任意である。また、任意フィ
ールド（第ｎフィールド）の直前のフィールド（第（ｎ
−１）フィールド）に対する動きベクトルを検出した
が、フィールド番号の差ｉは１に限らず任意である。こ
こで、入力信号がディジタルデータであり、代表点座標
等が小数で与えられる場合、対応する画素が存在しない
が、周知のように近傍の画素から補間して代表点データ
等とすればよい。

【０１１５】

【発明の効果】上述のように、この発明においては、水
平帰線期間等の所定期間を利用して直前の一水平走査線
データについて算出した残差またはその途中結果を残差
メモリからフィールドメモリの余白領域に退避すること
により、残差メモリの容量を従来のＱ×ＲワードからＱ
ワードに縮小することができる。

【０１１６】従って、回路規模の点で従来制約されてい
た代表点数やブロック数の大幅な増加が回路規模の増大
を伴わずに可能となり、より的確な動きベクトルの検出
が可能となるので、この発明に係る画像処理装置をビデ
オカメラにおける手振れ補正装置に適用した場合には、
より的確な手振れ補正処理が、また画像伝送における動
画像圧縮装置に適用した場合には、より高能率のデータ
量の圧縮処理がリアルタイムで可能となる効果がある。

【図面の簡単な説明】

【図１】この発明の一実施例を示すブロック図である。

【図２】画面の画素構成例を示す説明図である。

【図３】同画面における代表点および捜索範囲の配置図
である。

【図４】同実施例の動作を示す説明図である。

【図５】この発明の他の実施例を示すブロック図であ
る。

【図６】代表点および捜索範囲の配置例を示す説明図で
ある。

【図７】複数のブロックの配置例を示す説明図である。

【図８】従来装置の一例を示すブロック図である。

【図９】従来装置の他の例を示すブロック図である。

【図１０】入力および出力画像領域を示す説明図であ
る。

【図１１】補間回路９の構成および動作を示す図であ
る。

【符号の説明】

１入力信号２代表点メモリ３，４，５，６動きベクトル検出回路７制御回路８フィールドメモリ９補間回路１０出力信号３１減算器３２絶対値回路３３加算器３４残差メモリ（Ｑワード）３９最小残差計算回路４４第１残差メモリ（Ｑワード）４５第２残差メモリ（Ｑワード）５４残差メモリ（Ｑ×Ｒワード）６４第１残差メモリ（Ｑ×Ｒワード）６５第２残差メモリ（Ｑ×Ｒワード）

Claims

【特許請求の範囲】

【請求項１】現フィールドの前フィールドに対する画
像の動きベクトルを検出し、この動きベクトルに基づい
てフィールドメモリに格納した現フィールドの手振れ補
正および動画像圧縮を行なう画像処理装置において、任意の一水平走査線分の画像データが入力する期間に算
出される残差またはその中間結果を格納する残差メモリ
を有し、上記画像データが入力した期間後の所定期間に、上記残
差メモリに格納した残差またはその中間結果を上記フィ
ールドメモリの余白領域に退避することを特徴とする画
像処理装置。
【請求項２】現フィールドの前フィールドに対する画
像の動きベクトルを検出し、この動きベクトルに基づい
てフィールドメモリに格納した現フィールドの手振れ補
正および動画像圧縮を行なう画像処理装置において、任意の一水平走査線分の画像データが入力する期間に算
出される残差またはその中間結果を格納する残差メモリ
を有し、上記フィールドメモリをマルチポートメモリで構成し、
上記残差メモリに格納した残差またはその中間結果をこ
のフィールドメモリの余白領域に退避することを特徴と
する画像処理装置。