JPH0522647A

JPH0522647A - 画像処理装置

Info

Publication number: JPH0522647A
Application number: JP3174114A
Authority: JP
Inventors: Mitsuharu Oki; 光晴大木
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1991-07-15
Filing date: 1991-07-15
Publication date: 1993-01-29
Anticipated expiration: 2016-02-05
Also published as: JP3132055B2

Abstract

(57)【要約】【目的】回路規模を従来程度に止めながら、動きベクト
ルの検出精度をｋ倍（ｋ＞１）高め、手振れ補正等の画
像処理精度を改善する。【構成】動きベクトルの検出をｋ倍高精度にしようとす
れば、残差メモリ３４，３５の容量はｋ²倍に増加す
る。そこで、画面をブロック化し、複数ブロックの各々
の動きベクトルを検出する場合、まず、信号入力期間に
第１動きベクトル検出回路３により所望精度よりｋ倍粗
い精度で第１動きベクトルを検出し、次に垂直帰線期間
等の所定期間に第２動きベクトル検出回路４により既に
検出した第１動きベクトルに基づいて所望精度の第２動
きベクトルを検出する。この第２動きベクトルに基づい
て、ビデオカメラにおける画像のより的確な手振れ補正
や、画像伝送におけるより高能率のデータ圧縮等の画像
処理が行なわれる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、入力動画像データに
おけるフィールド間の動きベクトルを検出して、ビデオ
カメラにおけるフィールド間の画像の揺れを補正する手
振れ補正装置、動画像のデータ量を圧縮する画像圧縮装
置等の画像処理装置に関する。

【０００２】

【従来の技術】ビデオ撮影時のカメラ振れ等による画像
の揺れを画像処理によって補正する手振れ補正装置や、
高能率の画像伝送のためデータ量の圧縮を行なう動画像
圧縮装置等の画像処理装置において、適切な手振れ補正
や高能率のデータ圧縮を行なうには各フィールド間にお
ける画像の動きベクトルを的確に求める必要がある。

【０００３】現フィールド（＝第ｎフィールド）の前フ
ィールド（＝第（ｎ−ｉ）フィールド、但し、以下の説
明ではｉ＝１とする）に対する動きベクトルＶ（ｎ）の
検出方法について説明する。

【０００４】図９（Ａ）は、例えば１画面に１６個の代
表点Ｐｋ（即ち、ｋ＝０〜１５）を設けて動きベクトル
Ｖを求める場合を示す。第（ｎ−１）フィールドの代表
点Ｐｋ（ｎ−１）における画素データ（以下、代表点デ
ータという）Ａｋ（ｎ−１）とする。第ｎフィールドの
捜索範囲Ｗｋ（但し、捜索原点を代表点Ｐｋ（ｎ）と
し、水平方向にＱおよび垂直方向にＲの範囲）内で、代
表点データＡｋ（ｎ−１）に対応する第ｎフィールドの
画素データＡｉｊ（ｎ）を捜索する。具体的には、例え
ば捜索原点Ｐｋから水平方向に２ｋｑおよび垂直方向に
２ｋｒステップ（但し、ｋ＞１）で設定した捜索範囲Ｗ
ｋ内の全ての捜索点（ｌ，ｍ）に向かうベクトル（以
下、ベクトル（ｌ，ｍ）という）の各々について、次式
で与えられる残差Ｓ（ｌ，ｍ）を計算する。

【０００５】

【数１】

【０００６】ここで、Ａｋ（ｌ，ｍ）（ｎ）は捜索範囲
Ｗｋ内の捜索点（ｌ，ｍ）における第ｎフィールドの画
素データである。

【０００７】全ての捜索点における残差Ｓ（ｌ，ｍ）の
うち、最小の残差をＳ（ｌ１，ｍ１）とすれば、第（ｎ
−１）フィールドに対する第ｎフィールドの動きベクト
ルＶ（ｎ）は、ベクトル（ｌ１，ｍ１）で与えられ、そ
の精度は水平方向に±ｋｑ、垂直方向に±ｋｒである。

【０００８】上例（図９（Ａ））では、１画面全体に対
して残差Ｓを計算して動きベクトルＶを求める方法であ
るが、他の例として１画面を複数のブロック、例えば図
９（Ｂ）に示すように４つのブロックＢ１，Ｂ２，Ｂ
３，Ｂ４に分割し、各ブロックの動きベクトルＶ１，Ｖ
２，Ｖ３，Ｖ４を上例と同様に（つまり、画面ブロック
を上例における画面全体に見立てて）検出してもよい。

【０００９】この場合、各ブロックから検出された合計
４つの動きベクトルＶ１，Ｖ２，Ｖ３，Ｖ４から、例え
ば次のような判定基準により、第ｎフィールドの動きベ
クトルＶ（ｎ）を判定する。

【００１０】第１のケース：４つの動きベクトルのうち
３つ以上が同一である場合、この一致するベクトルを第
ｎフィールドの動きベクトルＶ（ｎ）とする。

【００１１】第２のケース：第１のケース以外の場合で
あり、動きベクトルＶ（ｎ）検出不能とするか、各ブロ
ックに重み付けを行なって動きベクトルＶ（ｎ）を判定
するか、若しくは、各ブロックからの４つの動きベクト
ルＶ１，Ｖ２，Ｖ３，Ｖ４と同時に画面全体の動きベク
トルＶｗを検出し、動きベクトルＶ（ｎ）として画面全
体の動きベクトルＶｗを採用する。

【００１２】これは、複数のブロックのうちのひとつ、
例えば第３ブロックＢ３の動きベクトルＶ３が、人や車
等の動体の影響によって正しく検出できないような場合
に対処しようとする方法である。

【００１３】図１０に、従来の画像処理装置の一例とし
て、図９（Ｂ）のブロック配置における手振れ補正装置
のブロック図を示す。

【００１４】時刻Ｔ０（図９（Ｂ）参照）までに、第
（ｎ−１）フィールドの画像データＡｉｊ（ｎ−１）
は、データバスＢＵを介してフィールドメモリ６に格納
され、また画像データＡｉｊ（ｎ−１）のうち代表点デ
ータＡｋ（ｎ−１）は、データバスＢＵを介して代表点
メモリ２に格納されている。

【００１５】期間Ｔ０〜Ｔ１において、入力信号１とし
て順次入力する第ｎフィールドの画像データＡｉｊ
（ｎ）は動きベクトル検出回路３に供給される。動きベ
クトル検出回路３の減算器３１により画像データＡｉｊ
（ｎ）のうち第１および第２ブロックＢ１，Ｂ２の全捜
索点の各データと、代表点メモリ２からデータバスＢＵ
を介して供給される代表点データＡｋ（ｎ−１）との差
分がとられ、絶対値回路３２により差分絶対値とされ、
加算器３３により差分絶対値の累加算値、即ち残差Ｓ
（ｌ，ｍ）の途中結果あるいは最終結果が計算され、第
１および第２残差メモリ３４，３５に格納される。

【００１６】ここで、第１残差メモリ３４には第１ブロ
ックＢ１の全ての残差Ｓ１（ｌ，ｍ）（または、その途
中結果）が、また第２残差メモリ３５には第２ブロック
Ｂ２の残差Ｓ２（ｌ，ｍ）（または、その途中結果）が
格納される。残差Ｓ１（ｌ，ｍ），Ｓ２（ｌ，ｍ）は次
のように計算される。

【００１７】

【数２】

【００１８】動きベクトル計算回路３９は、第１残差メ
モリ３４に格納された第１ブロックＢ１の全残差Ｓ１
（ｌ，ｍ）のうち最小残差Ｓ１（ｌ１１，ｍ１１）を検
出し、第１ブロックＢ１の動きベクトルＶ１（ｌ１１，
ｍ１１）として出力する。

【００１９】ここで、最小残差Ｓ１１（ｌ１１，ｍ１
１）、次の最小残差Ｓ１２（ｌ１２，ｍ１２）、次の次
の最小残差Ｓ１３（ｌ１３，ｍ１３）、・・・を検出
し、第１ブロックの動きベクトルとして複数個の動きベ
クトルＶ１１（ｌ１１，ｍ１１），Ｖ１２（ｌ１２，ｍ
１２），Ｖ１３（ｌ１３，ｍ１３），・・・を出力する
ようにしてもよい。第１ブロックＢ１以外の各ブロック
についても同様である。

【００２０】時刻Ｔ１において、第１ブロックＢ１の動
きベクトルＶ１（ｌ１１，ｍ１１）と第２ブロックＢ２
の動きベクトルＶ２（ｌ２１，ｍ２１）が制御回路５に
出力される。

【００２１】期間Ｔ１〜Ｔ２において、第３ブロックＢ
３および第４ブロックの動きベクトルＶ３１（ｌ３１，
ｍ３１）およびＶ４１（ｌ４１，ｍ４１）が、動きベク
トル検出回路３により検出される。この期間Ｔ１〜Ｔ２
に、第１および第２残差メモリ３４，３５に格納される
各残差Ｓ３（ｌ，ｍ）およびＳ４（ｌ，ｍ）は次式で表
わされる。

【００２２】

【数３】

【００２３】このようにして、第ｎフィールドの入力が
終了する時刻、つまり時刻Ｔ２において、制御回路５は
上述のような判定基準に基づいて複数ブロックＢ１，Ｂ
２，Ｂ３およびＢ４の動きベクトルＶ１，Ｖ２，Ｖ３お
よびＶ４から第ｎフィールドの第（ｎ−１）フィールド
に対する動きベクトルＶ（ｎ）を判定し、この動きベク
トルＶ（ｎ）を基準フィールド（例えば、第１フィール
ド）以降の累積動きベクトルＶｔに累加算（Ｖｔ（ｎ）
＝Ｖｔ（ｎ−１）＋Ｖ（ｎ））し、この累積動きベクト
ルＶｔ（ｎ）分補正した読み出しアドレスＡＤＲをフィ
ールドメモリ６に出力する。

【００２４】同期間Ｔ０〜Ｔ２において、つまり、動き
ベクトルＶ１，Ｖ２，Ｖ３，Ｖ４の検出と並行して、第
ｎフィールドの画像データＡｉｊ（ｎ）のうち第ｎフィ
ールドの代表点データＡｋ（ｎ）は代表点メモリ２に取
り込まれ、使用済みの代表点データＡｋ（ｎ−１）の更
新が順次行なわれる。また、同期間Ｔ０〜Ｔ２に、フィ
ールドメモリ６に格納されている第（ｎ−１）フィール
ドの画像データＡｉｊ（ｎ−１）は、データバスＢＵを
介して補間回路７に順次出力され、出力済みの画像デー
タＡｉｊ（ｎ−１）は、第ｎフィールドの画像データＡ
ｉｊ（ｎ）により順次更新される。

【００２５】図１１は、フィールドメモリ６に格納され
る入力画像領域と、次のフィールド期間に読み出される
出力画像領域を示す図である。

【００２６】図１１において、入力画像領域は、基準フ
ィールドの出力画像領域と、想定した最大動きベクトル
に対応して基準フィールドの出力画像領域の周辺に設定
された補正領域から構成されるので、基準フィールドあ
るいは任意フィールドの出力画像領域（点線で示す）は
入力画像領域より一廻り小さな領域となる。

【００２７】出力画像領域が画枠領域よりも小さい場
合、画像データの補間による画像の拡大が必要である。

【００２８】図１２（Ａ）は、補間回路７を示すブロッ
ク図、図１２（Ｂ）は３／２倍に拡大する場合の同回路
の動作を示すタイミング図、図１２（Ｃ）は補間結果を
示す図である。

【００２９】図１２（Ａ）において、図１０に示す入力
信号１は、各水平走査期間Ｈに走査線データＹｉ（但
し、ｉ＝０，１，２，・・・）として順次入力する。入
力する走査線データＹｉは乗算器７１により係数Ｃ０が
乗算された後、加算器７５に入力する。これと同時に走
査線データＹｉは、スイッチ７２を介して１Ｈ遅延線７
３に入力し、１水平走査期間（１Ｈ）遅延した後、乗算
器７４により係数Ｃ１が乗算されて加算器７５に入力す
る。加算器７５は乗算器７１，７４からの両出力を加算
し、出力走査線データｙｉを出力する。

【００３０】３／２倍に拡大する場合における補間回路
７のライン補間動作を示す図１２（Ｂ）において、各走
査線データＹｉ（Ｙ０，Ｙ１，Ｙ２，・・・）は順次図
示のように入力するが、走査線データＹ０、若しくは２
つの走査線データＹ１とＹ２，Ｙ３とＹ４，・・・を入
力した後の１水平走査期間（１Ｈ）は、ダミーデータＤ
Ｍを入力する。

【００３１】スイッチ７２は走査線データの入力期間中
はａ側に、またダミーデータＤＭの入力期間中はｂ側に
切り換えられるので、１Ｈ遅延線７３は、１水平走査期
間（１Ｈ）遅れの各走査線データＹ０，Ｙ０，Ｙ１，Ｙ
２，Ｙ２，Ｙ３，Ｙ４，Ｙ４，・・・を乗算器７４に出
力する。

【００３２】乗算器７１の係数Ｃ０は、水平走査期間
（Ｈ）に同期して、図示のように０，２／３，１／３と
なるように制御され、また乗算器７４の係数Ｃ１は、同
様に１，１／３，２／３となるように制御されるので、
加算器７５から１Ｈ遅れで出力される補正後の走査線デ
ータｙｉは次のようになる。

【００３３】

【数４】

【００３４】図１２（Ｃ）に、入力する各走査線データ
Ｙｉを実線で、また、補間後の各走査線データｙｉを点
線で示す。

【００３５】上述、垂直方向への画像拡大と同時に水平
方向への拡大も必要であるが、周知の技術であるので説
明は省略する。また、図１１において、出力画像領域と
画枠が一致する場合、上述のような画像の拡大は不要で
あるが、入力画像領域のフィールドメモリ６への書き込
みクロックを基準とすれば、出力画像領域は、同様に数
ライン毎にダミーデータＤＭを挿入して出力され、補間
回路７の代わりにデータ変換回路を用いてダミーデータ
ＤＭの除去が行なわれる。即ち、この場合でもフィール
ドメモリからデータ変換回路への出力が休止するダミー
データ送出期間が同様に存在する。

【００３６】図１０において、次の第（ｎ＋１）フィー
ルド期間Ｔ０〜Ｔ２（ｎ＋１）において、フィールドメ
モリ６に格納されている画像データＡｉｊ（ｎ）は、制
御回路５からの読み出しアドレスＡＤＲ（ｎ）に基づい
て、データバスＢＵを介して補間回路７に順次出力さ
れ、上述のような補間処理等の後、出力信号８として出
力される。

【００３７】なお、上述の従来装置において、フィール
ドメモリ６の読み書きは次のように行なわれる。第（ｎ
−１）フィールドの出力画像領域のうち既に補間回路７
に出力し終った領域、並びにこの出力画像領域の外側の
出力されない領域（補正領域）に、入力する第ｎフィー
ルドの画像データＡｉｊ（ｎ）が順次重ね書きされる。

【００３８】また、上例において各捜索範囲Ｗｋに水平
方向２ｋｑ、垂直方向２ｋｒのステップで設定される捜
索点の個数は（Ｑ×Ｒ）／（２ｋｑ×２ｋｒ）である。

【００３９】

【発明が解決しようとする課題】上述の従来装置におい
て、各ブロックの捜索範囲Ｗｋ内に設定された全ての捜
索点のそれぞれについて、残差Ｓ（ｌ，ｍ）が計算され
るので、各残差メモリ３４，３５の容量はそれぞれ（Ｑ
×Ｒ）／（２ｋｑ×２ｋｒ）ワードであり、検出される
動きベクトルＶ１，Ｖ２，Ｖ３，Ｖ４またはＶｗの精度
は前述の通り水平方向±ｋｑ、垂直方向±ｋｒ（但し、
ｋ＞１）である。

【００４０】動きベクトルの精度を±ｋｑ，±ｋｒから
±ｑ，±ｒにしようとすれば、各残差メモリ３４，３５
の容量はｋ×ｋ倍に増加する。例えば、精度を３倍向上
するには９倍のメモリ容量が必要となり、回路規模が急
増してしまうという課題があった。

【００４１】そこで、この発明は、あるフィールドの画
像信号が入力する期間には従来通り±ｋｑ，±ｋｒの精
度で動きベクトルを検出して第１動きベクトルとし、こ
の入力期間以降、次フィールドの入力が開始するまでの
期間（つまり、垂直帰線期間）やダミーデータ送出期間
等を利用して、±ｑ，±ｒの精度で第２の動きベクトル
を検出することにより、回路規模を従来と同程度に抑え
ながら、動きベクトルの精度が大きく改善できる画像処
理装置を提案するものである。

【００４２】

【課題を解決するための手段】上述の課題を解決するた
め、この発明においては、入力する任意フィールドの画
面を複数ブロックに分割し、この複数ブロックの各々に
ついて過去のフィールドに対する動きベクトルをぞれぞ
れ検出し、検出された複数の動きベクトルに基づいて画
像処理を行なう画像処理装置において、任意フィールド
の画像データ入力期間に、所望精度よりも低い第１精度
で各ブロックの第１動きベクトルを検出する第１動きベ
クトル検出回路と、垂直帰線期間等の所定期間に、各ブ
ロックの第１動きベクトルに基づいて所望精度の動きベ
クトルを検出する第２動きベクトル検出回路を有し、各
ブロックに対する所望精度の動きベクトルに基づいて、
画像の手振れ補正および画像のデータ量圧縮を行なうこ
とを特徴とするものである。

【００４３】また、入力する任意フィールドの画面を複
数ブロックに分割し、この複数ブロックの各々について
過去のフィールドに対する動きベクトルをぞれぞれ検出
し、検出された複数の動きベクトルに基づいて画像処理
を行なう画像処理装置において、任意フィールドの画像
データ入力期間には所望精度よりも低い第１精度で各ブ
ロックの第１動きベクトルを検出し、並びに垂直帰線期
間等の所定期間には各ブロックの第１動きベクトルに基
づいて所望精度の動きベクトルを検出する動きベクトル
検出回路を有し、各ブロックに対する所望精度の動きベ
クトルに基づいて、画像の手振れ補正および画像のデー
タ量圧縮を行なうものである。

【００４４】

【作用】図１に示されるこの発明の一実施例の動作を説
明する。但し、１画面を４（＝２×２）ブロックに分割
した場合（図７（Ｂ）参照）について説明する。

【００４５】１）任意の第ｎフィールド期間の開始時点
における状態は次の通りである。

【００４６】１−１）代表点メモリ２には第（ｎ−１）
フィールドの代表点データＡｋ（ｎ−１）が格納されて
いる。

【００４７】１−２）制御回路５は、第２動きベクトル
検出回路４の出力した複数の第２動きベクトルＶ１２，
Ｖ２２，Ｖ３２，Ｖ４２から第（ｎ−１）フィールドの
動きベクトルＶ（ｎ−１）を判定し、基準フィールド
（例えば、第１フィールド）以降の累積動きベクトル分
だけ補正した読み出しアドレスＡＤＲ（ｎ−１）をフィ
ールドメモリ６に出力する。

【００４８】１−３）フィールドメモリ６には第（ｎ−
１）フィールドの画像データＡｉｊ（ｎ−１）が格納さ
れている。

【００４９】２）第ｎフィールド期間のうち、信号入力
期間における動作は次の通りである。

【００５０】２−１）第１動きベクトル検出回路３は、
順次入力する画像データＡｉｊ（ｎ）のうち各捜索範囲
Ｗｋ内に第１の密度、すなわち水平方向に２ｋｑ、垂直
方向に２ｋｒのステップで設定された全ての捜索点
（ｌ，ｍ）における画像データＡｋ（ｌ，ｍ）（ｎ）
と、代表点メモリ２からデータバスＢＵを介して供給さ
れる代表点データＡｋ（ｎ−１）とから第１の精度で各
ブロックの動きベクトルを検出する。即ち、減算器３１
は両データの差分を算出し、絶対値回路３２は差分の絶
対値を加算器３３に出力する。信号入力期間の前半には
第１および第２ブロックについて、また信号入力期間の
後半には第３および第４ブロックについて全てのベクト
ル（ｌ，ｍ）に対する残差Ｓ（または、その中間結果）
が残差メモリ３４および３５に読み書きされる。加算器
３３は、絶対値回路３２から入力する差分絶対値と、残
差メモリ３４または３５から入力する各残差Ｓの中間結
果とを累加算し、残差メモリ３４または３５に格納す
る。第１動きベクトル計算回路３９は、入力期間の前半
には第１残差メモリ３４に格納された残差Ｓのうち、最
小の残差となる第１精度±ｋｑ，±ｋｒのベクトル（ｌ
１１，ｍ１１）を第１ブロックの第１動きベクトルＶ１
１として、また、第２残差メモリ３５の残差Ｓのうち最
小の残差となる第１精度のベクトル（ｌ２１，ｍ２１）
を第２ブロックの第１動きベクトルＶ２１として制御回
路５に出力する。信号入力期間の後半には、動きベクト
ル計算回路３９は同様に第３および第４ブロックの第１
動きベクトルＶ３１，Ｖ４１を制御回路５に出力する。

【００５１】２−２）代表点メモリ２は、入力する第ｎ
フィールドの画像データＡｉｊ（ｎ）のうち各代表点Ｐ
ｋにおける画像データＡｋ（ｎ）を順次取り込む。

【００５２】２−３）フィールドメモリ６は、読み出し
アドレスＡＤＲ（ｎ−１）により第（ｎ−１）フィール
ドの画像データＡｉｊ（ｎ−１）をデータバスＢＵを介
して補間回路７に出力すると同時に、順次入力する第ｎ
フィールドの画像データＡｉｊ（ｎ）を、既に出力が終
了して不要となった画像データＡｉｊ（ｎ−１）の領域
に順次重ね書きする。

【００５３】２−４）補間回路７は、フィールドメモリ
６から入力する画像データＡｉｊ（ｎ−１）に補間処理
を施し、画枠を満たすように拡大して第（ｎ−１）フィ
ールドの出力信号８とする。

【００５４】３）第ｎフィールド期間のうち、信号入力
期間後の垂直帰線期間における動作は次の通りである。

【００５５】３−１）上記垂直帰線期間のうち、第１四
半期間において、第２動きベクトル検出回路４は、第１
ブロックの第１動きベクトルＶ１１に基づいて、第１精
度より高い第２精度（±ｑ，±ｒ）の第２動きベクトル
Ｖ１２を検出して、制御回路５に出力する。即ち、制御
回路５は第１ブロックの第１動きベクトルＶ１１分補正
した読み出しアドレスＡＤＥをフィールドメモリ６に出
力する。フィールドメモリ６は、読み出しアドレスＡＤ
Ｅの制御により、第１動きベクトルＶ１１の近傍の第２
捜索範囲に第２の密度、即ち水平方向２ｑ、垂直方向２
ｒのステップで設定されたベクトル（ｌ，ｍ）における
画像データＡｋ（ｌ，ｍ）（ｎ）をデータバスＢＵを介
して第２動きベクトル検出回路４に出力する。一方、代
表点メモリ２は、代表点データＡｋ（ｎ−１）をデータ
バスＢＵを介して第２動きベクトル検出回路４に出力す
る。第２動きベクトル検出回路４における全てのベクト
ル（ｌ，ｍ）のそれぞれに対する差分絶対値の累加算、
すなわち残差計算は、動きベクトル検出回路３と同様で
あるので説明を省略する。第２動きベクトル計算回路４
９は第３残差メモリ４４に格納された全てのベクトル
（ｌ，ｍ）に対する残差Ｓ（ｌ，ｍ）のうち最小の残差
を与えるベクトル（ｌ１１，ｍ１１）を第１ブロックの
第２動きベクトルＶ１２として制御回路５に出力する。

【００５６】３−２）上記垂直帰線期間のうち第２四半
期間において、第２動きベクトル検出回路４は、第２ブ
ロックの第１動きベクトルＶ２１に基づいて第２ブロッ
クの第２動きベクトルＶ２２を検出し、制御回路５に出
力する。

【００５７】３−３）上記垂直帰線期間のうち第３四半
期間において、第２動きベクトル検出回路４は、第３ブ
ロックの第１動きベクトルＶ３１に基づいて第３ブロッ
クの第２動きベクトルＶ３２を検出し、制御回路５に出
力する。

【００５８】３−４）上記垂直帰線期間のうち第４四半
期間において、第２動きベクトル検出回路４は、第４ブ
ロックの第１動きベクトルＶ４１に基づいて第４ブロッ
クの第２動きベクトルＶ４２を検出し、制御回路５に出
力する。

【００５９】３−５）制御回路５は、所定の判断基準に
基づいて、第２精度の４つの第２動きベクトルＶ１２，
Ｖ２２，Ｖ３２，Ｖ４２から第ｎフィールドの第（ｎ−
１）フィールドに対する動きベクトルＶ（ｎ）を判定
し、基準フィールド以降の累積動きベクトルＶｔを計算
し、累積動きベクトルＶｔ分補正した読み出しアドレス
ＡＤＲをフィールドメモリ６に出力する。

【００６０】４）引き続くフィールド期間、即ち第（ｎ
＋１）フィールド期間、第（ｎ＋２）フィールド期間、
・・・において、上記の動作（項（２）および項
（３））を繰り返す。

【００６１】このように、この発明に係る画像処理装置
は、任意のフィールド期間のうち、画像データ入力期間
には１画面を複数ブロックに分割し、各ブロックから第
１精度で動きベクトルを検出し、垂直帰線期間には第１
精度の動きベクトルに基づいて第１精度よりも高い第２
精度で動きベクトルを検出する。従って、この発明をビ
デオカメラ等の手振れ補正装置に適用した場合には、第
２精度の複数動きベクトルから最適動きベクトルを選択
することによる的確な手振れ補正が、また画像通信にお
ける動画像圧縮装置に適用した場合には、第２精度の複
数動きベクトルにより各ブロックの画像データに対して
高能率のデータ圧縮が、回路規模を従来と同程度に抑え
ながら可能となる。

【００６２】

【実施例】続いて、この発明に係る画像処理装置をビデ
オカメラ等の手振れ補正装置に適用した場合の実施例に
ついて、図面を参照して詳細に説明する。

【００６３】図１は、この発明の一実施例を示すブロッ
ク図であり、従来例（図１０）と同一または類似の部分
には同一符号を付してその重複説明を省略する。また、
図２は、同装置の動作を示すタイミングチャートであ
る。但し、図２において垂直帰線期間Ｔ２〜Ｔ′０は実
際より拡大して図示する。

【００６４】この実施例の動作を、従来例の説明に準じ
て１画面を４ブロックＢ１，Ｂ２，Ｂ３およびＢ４に分
割し（図９（Ｂ）参照）、第（ｎ−１）フィールドに対
する第ｎフィールドの各ブロックの動きベクトルをそれ
ぞれ検出し、複数の動きベクトルから第ｎフィールドの
動きベクトルＶ（ｎ）を判定する場合について説明す
る。

【００６５】図２において、任意の第ｎフィールド期間
の開始時刻Ｔ０における各部の状態は、図示を省略した
が、第（ｎ＋１）フィールドの開始時刻Ｔ′０における
各部の状態から容易に類推でき、次の通りである。

【００６６】代表点メモリ２には、第（ｎ−１）フィー
ルドの代表点Ｐｋ（但し、ｋ＝０〜１５）における画像
データＡｋ（ｎ−１）が格納されている。また、フィー
ルドメモリ６には第（ｎ−１）フィールドの全画像デー
タＡｉｊ（ｎ−１）が格納されている。また、制御回路
５は第（ｎ−１）フィールドの読み出しアドレスＡＤＲ
（ｎ−１）をフィールドメモリ６に出力する。

【００６７】１）第ｎフィールド期間のうちデータ入力
期間Ｔ０〜Ｔ２における各部の動作は次の通りである。

【００６８】１−１）入力信号１として、第ｎフィール
ドの画像データＡｉｊ（ｎ）が順次入力する。

【００６９】１−２）代表点メモリ２は、格納している
第（ｎ−１）フィールドの代表点データＡｋ（ｎ−１）
を第１動きベクトル検出回路３に出力すると共に、入力
する第ｎフィールドの画像データＡｉｊ（ｎ）のうち各
代表点Ｐｋにおける画像データＡｋ（ｎ）を順次取り込
む。

【００７０】１−３）第１動きベクトル検出回路３は、
順次入力する第ｎフィールドの画像データＡｉｊ（ｎ）
と、代表点メモリ２からデータバスＢＵを介して供給さ
れる代表点データＡｋ（ｎ−１）とから、各ブロックの
捜索範囲Ｗｋ内に水平方向ｋｑ、垂直方向ｋｒのステッ
プで設定された全てのベクトル（ｌ，ｍ）について残差
Ｓ（ｌ，ｍ）を計算し、最小残差となる第１精度（±ｋ
ｑ，±ｋｒ）のベクトルを、期間Ｔ０〜Ｔ１には第１お
よび第２ブロックの第１動きベクトルＶ１１およびＶ２
１として、また期間Ｔ１〜Ｔ２には第３および第４ブロ
ックの第１動きベクトルＶ３１およびＶ４１として制御
回路５に出力する。ここで、第１動きベクトル検出回路
３の構成および動作は、従来例（図１０）の動きベクト
ル検出回路３と同様であるのでその重複説明は省略す
る。

【００７１】１−４）制御回路５は、時刻Ｔ０までに第
２動きベクトル検出回路４の出力する第（ｎ−１）フィ
ールドの第２動きベクトルＶ１２（ｎ−１），Ｖ２２
（ｎ−１），Ｖ３２（ｎ−１）およびＶ４２（ｎ−１）
から前述の判定基準に基づいて第（ｎ−１）フィールド
の動きベクトルＶ（ｎ−１）を判定し、基準フィールド
（例えば、第１フィールド）以降の累積動きベクトルＶ
ｔにこの動きベクトルＶ（ｎ−１）を累加算して累積動
きベクトルＶｔを更新し、この更新された累積動きベク
トル分だけシフトした出力画像領域（図１１参照）とす
るための読み出しアドレスＡＤＲ（ｎ−１）をフィール
ドメモリ６に供給する。

【００７２】１−５）フィールドメモリ６は、読み出し
アドレスＡＤＲ（ｎ−１）により第（ｎ−１）フィール
ドの出力画像領域内の画像データＡｉｊ（ｎ−１）をデ
ータバスＢＵを介して、順次補間回路７に出力する。こ
れと並行して、フィールドメモリ６には、順次入力する
第ｎフィールドの画像データＡｉｊ（ｎ）が、出力画像
領域外の補正領域並びに出力画像領域のうち既に出力が
終了した領域に重ね書きされる。

【００７３】１−６）補間回路７は、フィールドメモリ
６から供給される画像データＡｉｊ（ｎ−１）に補間処
理を施し、出力画像領域を画枠領域まで拡大して出力信
号８とする。

【００７４】２）第ｎフィールド期間のうち垂直帰線期
間Ｔ２〜Ｔ′０における各部の動作は次の通りである。

【００７５】２−１）期間Ｔ２〜Ｔ２１において、代表
点メモリ２は第１ブロックＢ１内の代表点Ｐｋ（但し、
ｋ＝０〜３）の画像データＡｋ（ｎ−１）をデータバス
ＢＵを介して第２動きベクトル検出回路４に出力する。
時刻Ｔ２において、制御回路５は第１ブロックの第１動
きベクトルＶ１１分補正した読み出しアドレスＡＤＥ
（ｎ）をフィールドメモリ６に供給する。同期間Ｔ２〜
Ｔ２１において、フィールドメモリ６はこの読み出しア
ドレスＡＤＥ（ｎ）により第１動きベクトルＶ１１の先
端近傍の第２捜索範囲Ｗ′ｋ内に水平方向２ｑ、垂直方
向２ｒのステップで設定した各ベクトル（ｌ，ｍ）に対
する画像データＡｋ（ｌ，ｍ）（ｎ）を順次第２動きベ
クトル検出回路４に出力する。同期間Ｔ２〜Ｔ２１にお
いて、第２動きベクトル検出回路４は、代表点メモリ２
から入力する代表点データＡｋ（ｎ−１）とフィールド
メモリ６から入力する画像データＡｋ（ｌ，ｍ）（ｎ）
との差分絶対値を累加算して、各ベクトル（ｌ，ｍ）に
対する残差を求め、最小残差を与える第２精度（±ｑ，
±ｒ）のベクトルを第１ブロックの第２動きベクトルＶ
１２として制御回路５に出力する。ここで、第２動きベ
クトル検出回路４の構成と動作は第１動きベクトル検出
回路３と同様であるので、その重複説明を省略する。

【００７６】２−２）期間Ｔ２１〜Ｔ２２において、代
表点メモリ２は第２ブロックＢ２内の代表点Ｐｋ（但
し、ｋ＝４〜７）の画像データＡｋ（ｎ−１）をデータ
バスＢＵを介して第２動きベクトル検出回路４に出力す
る。時刻Ｔ２１において、制御回路５は第２ブロックの
第１動きベクトルＶ２１分補正した読み出しアドレスＡ
ＤＥ（ｎ）をフィールドメモリ６に供給する。同期間Ｔ
２１〜Ｔ２２において、フィールドメモリ６はこの読み
出しアドレスＡＤＥ（ｎ）により第１動きベクトルＶ２
１の先端近傍の第２捜索範囲Ｗ′ｋ内に水平方向２ｑ、
垂直方向２ｒのステップで設定した各ベクトル（ｌ，
ｍ）に対する画像データＡｋ（ｌ，ｍ）（ｎ）を順次第
２動きベクトル検出回路４に出力する。同期間Ｔ２１〜
Ｔ２２において、第２動きベクトル検出回路４は、代表
点メモリ２から入力する代表点データＡｋ（ｎ−１）と
フィールドメモリ６から入力する画像データＡｋ（ｌ，
ｍ）（ｎ）との差分絶対値を累加算して、各ベクトル
（ｌ，ｍ）に対する残差を求め、最小残差を与える第２
精度（±ｑ，±ｒ）のベクトルを第２ブロックの第２動
きベクトルＶ２２として制御回路５に出力する。

【００７７】２−３）期間Ｔ２２〜Ｔ２３において、代
表点メモリ２は第３ブロックＢ３内の代表点Ｐｋ（但
し、ｋ＝８〜１１）の画像データＡｋ（ｎ−１）をデー
タバスＢＵを介して第２動きベクトル検出回路４に出力
する。時刻Ｔ２２において、制御回路５は第３ブロック
の第１動きベクトルＶ３１分補正した読み出しアドレス
ＡＤＥ（ｎ）をフィールドメモリ６に供給する。同期間
Ｔ２２〜Ｔ２３において、フィールドメモリ６はこの読
み出しアドレスＡＤＥ（ｎ）により第１動きベクトルＶ
３１の先端近傍の第２捜索範囲Ｗ′ｋ内に水平方向２
ｑ、垂直方向２ｒのステップで設定した各ベクトル
（ｌ，ｍ）に対する画像データＡｋ（ｌ，ｍ）（ｎ）を
順次第２動きベクトル検出回路４に出力する。同期間Ｔ
２２〜Ｔ２３において、第２動きベクトル検出回路４
は、代表点メモリ２から入力する代表点データＡｋ（ｎ
−１）とフィールドメモリ６から入力する画像データＡ
ｋ（ｌ，ｍ）（ｎ）との差分絶対値を累加算して、各ベ
クトル（ｌ，ｍ）に対する残差を求め、最小残差を与え
る第２精度（±ｑ，±ｒ）のベクトルを第３ブロックの
第２動きベクトルＶ３２として制御回路５に出力する。

【００７８】２−４）期間Ｔ２３〜Ｔ′０において、代
表点メモリ２は第４ブロックＢ４内の代表点Ｐｋ（但
し、ｋ＝１２〜１５）の画像データＡｋ（ｎ−１）をデ
ータバスＢＵを介して第２動きベクトル検出回路４に出
力する。時刻Ｔ２３において、制御回路５は第４ブロッ
クの第１動きベクトルＶ４１分補正した読み出しアドレ
スＡＤＥ（ｎ）をフィールドメモリ６に供給する。同期
間Ｔ２３〜Ｔ′０において、フィールドメモリ６はこの
読み出しアドレスＡＤＥ（ｎ）により第１動きベクトル
Ｖ４１の先端近傍の第２捜索範囲Ｗ′ｋ内に水平方向２
ｑ、垂直方向２ｒのステップで設定した各ベクトル
（ｌ，ｍ）に対する画像データＡｋ（ｌ，ｍ）（ｎ）を
順次第２動きベクトル検出回路４に出力する。同期間Ｔ
２３〜Ｔ′０において、第２動きベクトル検出回路４
は、代表点メモリ２から入力する代表点データＡｋ（ｎ
−１）とフィールドメモリ６から入力する画像データＡ
ｋ（ｌ，ｍ）（ｎ）との差分絶対値を累加算して、各ベ
クトル（ｌ，ｍ）に対する残差を求め、最小残差を与え
る第２精度（±ｑ，±ｒ）のベクトルを第４ブロックの
第２動きベクトルＶ４２として制御回路５に出力する。

【００７９】２−５）次のフィールドの開始時刻Ｔ′０
において、制御回路５は、まず前述のような判定基準に
基づいて、各ブロックＢ１〜Ｂ４に対する第２動きベク
トルＶ１２，Ｖ２２，Ｖ３２，Ｖ４２から、第ｎフィー
ルドの第（ｎ−１）フィールドに対する動きベクトルＶ
（ｎ）を判定する。

【００８０】制御回路５は、次に、基準フィールド（例
えば、第１フィールド）以降の累積動きベクトルＶｔに
動きベクトルＶ（ｎ）を累加算して累積動きベクトルＶ
ｔを更新し、この更新された累積動きベクトルＶｔ分だ
けシフトした出力画像領域とする読み出しアドレスＡＤ
Ｒ（ｎ）をフィールドメモリ６に供給する。

【００８１】以上が、第ｎフィールド期間におけるこの
実施例の動作であり、各フィールド期間毎に同様の動作
が繰り返され、リアルタイムの画像処理（この例では、
画像の手振れ補正処理）が行なわれる。

【００８２】図３は、この発明の他の実施例を示すブロ
ック図である。

【００８３】図１から明らかなように、第１動きベクト
ル検出回路３と第２動きベクトル検出回路４は同様の構
成であり、また、図２から明らかなように、第１および
第２動きベクトル検出回路３，４は、同時には動作しな
い。従って、図３における単一の動きベクトル検出回路
３は、データ入力期間Ｔ０〜Ｔ２には図１の同回路３と
して、また、垂直帰線期間Ｔ２〜Ｔ′０には図１の同回
路４として動作するように構成される。

【００８４】従って、単一の動きベクトル検出回路３の
上述のような時分割制御がスイッチ５１を期間Ｔ０〜Ｔ
２ではａ側に、また期間Ｔ２〜Ｔ′０ではｂ側に切り換
えることによって行なわれること以外、図３の動作は図
１と同様であり、その重複説明を省略する。

【００８５】図４は、第１ブロックの第１および第２動
きベクトルＶ１１，Ｖ１２の一例を示す説明図である。

【００８６】図において、第１ブロックＢ１の捜索範囲
Ｗｋ（但し、ｋ＝０〜３；図９（Ｂ）参照）内に、水平
方向２ｋｑ、垂直方向２ｋｒのステップで設定された全
てのベクトル（ｌ，ｍ）を点「○」で示す。

【００８７】Ｔ０〜Ｔ１の期間に、「数２」に準じて全
てのベクトル（ｌ，ｍ）のそれぞれについて残差を求
め、最小残差を与える第１精度（±ｋｑ，±ｋｒ）のベ
クトル（ｌ１１，ｍ１１）を検出して、第１ブロックＢ
１の第１動きベクトルＶ１１とする。

【００８８】Ｔ２〜Ｔ２１の期間に、第１動きベクトル
Ｖ１１の近傍の第２捜索範囲Ｗ′ｋ内に、水平方向２
ｑ、垂直方向２ｒのステップで設定した全てのベクトル
（ｌ，ｍ）（図中、点「・」で示される５×５＝２５
点）のそれぞれについて残差を求め、最小残差を与える
第２精度（±ｑ，±ｒ）のベクトル（ｌ２１，ｍ２１）
を検出して第１ブロックの第２動きベクトルＶ１２とす
る。

【００８９】ここで、図はｋ＝３の場合、すなわち、第
１と第２動きベクトル（Ｖ１１とＶ１２）の間の精度を
３倍向上する場合を示す。また、この場合、図１に示す
第３残差メモリ４４の容量は２５ワードである。

【００９０】図５は、第１ブロックＢ１から複数（ここ
では２つ）の第１動きベクトルを候補ベクトルとして出
力する場合の説明図である。

【００９１】この例においては、第１ブロックＢ１の第
１動きベクトルを検出する際、最小残差を与えるベクト
ル（ｌ１１，ｍ１１）を第１候補ベクトルＶｃ１とし、
次の最小残差を与えるベクトル（ｌ１２，ｍ１２）を第
２候補ベクトルＶｃ２とする。

【００９２】第１候補ベクトルＶｃ１の近傍の第２捜索
範囲Ｗ′ｋ内に設定した２５点と、第２候補ベクトルＶ
ｃ２の近傍の第２捜索範囲Ｗ″ｋ内に設定した２５点、
計５０点のベクトルのそれぞれについて残差を求め、最
小残差を与える第２精度（±ｑ，±ｒ）のベクトル（ｌ
１２１，ｍ１２１）を第１ブロックＢ１の第２動きベク
トルＶ１２とする。この場合、図１に示す第３残差メモ
リ４４の容量は５０ワードである。

【００９３】図６は、第２捜索範囲Ｗ′ｋを複数（図で
は２つ）の範囲に分割して、第２捜索範囲の（１）Ｗ′
ｋ１と第２捜索範囲（２）Ｗ′ｋ２とした例である。

【００９４】この場合、まず期間Ｔ２〜Ｔ２１の前半で
第２捜索範囲（１）Ｗ′ｋ１について１５個の残差を求
め、このうちの最小残差を検出し、期間Ｔ２〜Ｔ２１の
後半で第２捜索範囲（２）Ｗ′ｋ２について１０個の残
差を求め、このうちの最小残差を検出する。次に、これ
ら２つの最小残差のうち、より小さい残差を与える第２
精度のベクトル（ｌ２１，ｍ２１）をこの例における第
１ブロックの第２動きベクトルＶ１２とする。この場
合、図１に示す第３残差メモリ４４の容量は１５ワード
である。

【００９５】図７は、この発明の第３実施例を示すブロ
ック図であり、第１実施例（図１）にローパスフィルタ
（ＬＰＦ）２１および代表点メモリ２２を追加した構成
である。

【００９６】この実施例において、第（ｎ−１）フィー
ルド期間に代表点メモリ２２に格納される代表点データ
Ａｋ（ｎ−１）はＬＰＦ２１による平滑処理の施された
画像データである。また、第ｎフィールド期間のデータ
入力期間Ｔ０〜Ｔ２に順次入力する画像データＡｉｊ
（ｎ）も同様にＬＰＦ２１による平滑処理が施された
後、第１動きベクトル検出回路３に入力する。

【００９７】従って、この実施例によれば、第１動きベ
クトル検出回路３における低精度（第２精度より低い第
１精度）の動きベクトルの検出を、平滑処理された代表
点データと平滑処理された入力画像データとから求める
ことにより、より的確に第１動きベクトルを検出しよう
とするものである。

【００９８】上述以外の動作は、図１の実施例と同様で
あり、その重複説明を省略する。

【００９９】図８は、この発明の第４実施例を示すブロ
ック図であり、第２実施例（図３）における第１動きベ
クトルの検出に対して平滑処理が施されるように、ＬＰ
Ｆ２１、代表点メモリ２２およびスイッチ５２を追加し
た構成である。

【０１００】スイッチ５２は、期間Ｔ０〜Ｔ２にはａ
側、また期間Ｔ２〜Ｔ′０にはｂ側に切り換えられる。
ＬＰＦ２１および代表点メモリ２２の動作については上
述の通りであり、その他の動作は図３と同様であるの
で、その重複説明を省略する。

【０１０１】以上、この発明に係る画像処理装置をビデ
オカメラ等の手振れ補正装置に適用した実施例について
説明したが、画像伝送等において動画像のデータ量の圧
縮を行なう動画像圧縮装置に適用する場合、上述の高精
度に検出された第２動きベクトルを各ブロックの動きベ
クトルとし、例えば各ブロック毎に動きベクトル分シフ
トした画像データの差分をとることにより、高能率のデ
ータ圧縮が達成できる。

【０１０２】なお、上述説明において、１画面内に設定
されるブロック数を４（＝２×２）個としたが、任意の
数のブロックを設定してよく、また、例えば図９（Ｂ）
において、第１および第２ブロックＢ１，Ｂ２からなる
第５ブロックを設定してもよく、あるいは第１、第２、
第３および第４ブロックＢ１，Ｂ２，Ｂ３，Ｂ４からな
る第６ブロック（＝全画面）を設定してもよい。この場
合、ブロック数に対応する数の第２動きベクトルを求め
るため、垂直帰線期間Ｔ２〜Ｔ′０はブロック数に対応
して分割すればよい。

【０１０３】また、第２動きベクトルを求めるための所
定期間として、上述した垂直帰線期間以外に、前述した
ダミーデータ送出期間および水平帰線期間を利用しても
よい。また、代表点を画面内に正方格子状に１６点設定
する例について上述したが、六方格子状等でもよく、代
表点の数も任意である。また、任意フィールド（第ｎフ
ィールド）の直前のフィールド（第（ｎ−１）フィール
ド）に対する動きベクトルを検出したが、フィールド番
号の差（＝ｉ）は１に限らず任意である。ここで、入力
信号がディジタルデータであり、代表点座標等が小数で
与えられる場合、対応する画素が存在しないが、周知の
ように近傍の画素から補間して代表点データ等とすれば
よい。

【０１０４】

【発明の効果】上述のように、この発明は、画像データ
の入力期間には画面内の各ブロックについて第１精度で
第１動きベクトルを検出し、水平および垂直帰線期間、
並びにダミーデータ送出期間には、第１動きベクトルに
基づいて第１精度よりも高い第２精度で第２動きベクト
ルを検出し、この第２動きベクトルに基づいて画像の手
振れ補正や画像データ量の圧縮が行なわれるので、回路
規模を従来と同程度に抑えながら、より的確な手振れ補
正やより高能率の画像データ量の圧縮が可能となる効果
がある。

【図面の簡単な説明】

【図１】この発明の第１実施例を示すブロック図であ
る。

【図２】同実施例の動作を示すタイミングチャートであ
る。

【図３】この発明の第２実施例を示すブロック図であ
る。

【図４】第１およぴ第２動きベクトルの説明図である。

【図５】複数の候補ベクトルに基づく第２動きベクトル
検出の説明図である。

【図６】第２捜索範囲Ｗ′ｋの分割例である。

【図７】この発明の第３実施例を示すブロック図であ
る。

【図８】この発明の第４実施例を示すブロック図であ
る。

【図９】従来例における代表点ＰｋおよびブロックＢ１
〜Ｂ４の配置の一例を示す図である。

【図１０】従来装置の一例を示すブロック図である。

【図１１】入出力画像領域を示す図である。

【図１２】補間回路７のブロック図および説明図であ
る。

【符号の説明】

１入力信号２，２２代表点メモリ３動きベクトル検出回路（第１動きベクトル検出回
路）４第２動きベクトル検出回路５制御回路６フィールドメモリ７補間回路８出力信号２１ローパスフィルタ（ＬＰＦ）３１，４１減算器３２，４２絶対値回路３３，４３加算器３４第１残差メモリ３５第２残差メモリ３９，４９動きベクトル計算回路４４第３残差メモリ５１，５２スイッチ７１，７４乗算器７２スイッチ７３１Ｈ遅延線７５加算器

Claims

【特許請求の範囲】

【請求項１】入力する任意フィールドの画面を複数ブ
ロックに分割し、この複数ブロックの各々について過去
のフィールドに対する動きベクトルをぞれぞれ検出し、
検出された複数の動きベクトルに基づいて画像処理を行
なう画像処理装置において、上記任意フィールドの画像データ入力期間に、所望精度
よりも低い第１精度で各ブロックの第１動きベクトルを
検出する第１動きベクトル検出回路と、垂直帰線期間等の所定期間に、上記各ブロックの第１動
きベクトルに基づいて上記所望精度の動きベクトルを検
出する第２動きベクトル検出回路を有し、上記各ブロックに対する上記所望精度の動きベクトルに
基づいて、画像の手振れ補正および画像のデータ量圧縮
を行なうことを特徴とする画像処理装置。
【請求項２】入力する任意フィールドの画面を複数ブ
ロックに分割し、この複数ブロックの各々について過去
のフィールドに対する動きベクトルをぞれぞれ検出し、
検出された複数の動きベクトルに基づいて画像処理を行
なう画像処理装置において、上記任意フィールドの画像データ入力期間には所望精度
よりも低い第１精度で各ブロックの第１動きベクトルを
検出し、垂直帰線期間等の所定期間には上記各ブロック
の第１動きベクトルに基づいて上記所望精度の動きベク
トルを検出する動きベクトル検出回路を有し、上記各ブロックに対する上記所望精度の動きベクトルに
基づいて、画像の手振れ補正および画像のデータ量圧縮
を行なうことを特徴とする画像処理装置。