JP3132055B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法

Info

Publication number
JP3132055B2
JP3132055B2 JP17411491A JP17411491A JP3132055B2 JP 3132055 B2 JP3132055 B2 JP 3132055B2 JP 17411491 A JP17411491 A JP 17411491A JP 17411491 A JP17411491 A JP 17411491A JP 3132055 B2 JP3132055 B2 JP 3132055B2
Authority
JP
Japan
Prior art keywords
motion vector
image
block
field
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP17411491A
Other languages
English (en)
Other versions
JPH0522647A (ja
Inventor
光晴 大木
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP17411491A priority Critical patent/JP3132055B2/ja
Publication of JPH0522647A publication Critical patent/JPH0522647A/ja
Application granted granted Critical
Publication of JP3132055B2 publication Critical patent/JP3132055B2/ja
Anticipated expiration legal-status Critical
Application status is Expired - Fee Related legal-status Critical

Links

Description

【発明の詳細な説明】

【0001】

【産業上の利用分野】この発明は、入力動画像データに
おけるフィールド間の動きベクトルを検出して、ビデオ
カメラにおけるフィールド間の画像の揺れを補正したり
や動画像のデータ量を圧縮する画像処理装置および画像
処理方法に関する。

【0002】

【従来の技術】ビデオ撮影時のカメラ振れ等による画像
の揺れを画像処理によって補正する手振れ補正装置や、
高能率の画像伝送のためデータ量の圧縮を行なう動画像
圧縮装置等の画像処理装置において、適切な手振れ補正
や高能率のデータ圧縮を行なうには各フィールド間にお
ける画像の動きベクトルを的確に求める必要がある。

【0003】現フィールド(=第nフィールド)の前フ
ィールド(=第(n−i)フィールド、但し、以下の説
明ではi=1とする)に対する動きベクトルV(n)の
検出方法について説明する。

【0004】図9(A)は、例えば1画面に16個の代
表点Pk(即ち、k=0〜15)を設けて動きベクトル
Vを求める場合を示す。第(n−1)フィールドの代表
点Pk(n−1)における画素データ(以下、代表点デ
ータという)Ak(n−1)とする。第nフィールドの
捜索範囲Wk(但し、捜索原点を代表点Pk(n)と
し、水平方向にQおよび垂直方向にRの範囲)内で、代
表点データAk(n−1)に対応する第nフィールドの
画素データAij(n)を捜索する。具体的には、例え
ば捜索原点Pkから水平方向に2kqおよび垂直方向に
2krステップ(但し、k>1)で設定した捜索範囲W
k内の全ての捜索点(l,m)に向かうベクトル(以
下、ベクトル(l,m)という)の各々について、次式
で与えられる残差S(l,m)を計算する。

【0005】

【数1】

【0006】ここで、Ak(l,m)(n)は捜索範囲
Wk内の捜索点(l,m)における第nフィールドの画
素データである。

【0007】全ての捜索点における残差S(l,m)の
うち、最小の残差をS(l1,m1)とすれば、第(n
−1)フィールドに対する第nフィールドの動きベクト
ルV(n)は、ベクトル(l1,m1)で与えられ、そ
の精度は水平方向に±kq、垂直方向に±krである。

【0008】上例(図9(A))では、1画面全体に対
して残差Sを計算して動きベクトルVを求める方法であ
るが、他の例として1画面を複数のブロック、例えば図
9(B)に示すように4つのブロックB1,B2,B
3,B4に分割し、各ブロックの動きベクトルV1,V
2,V3,V4を上例と同様に(つまり、画面ブロック
を上例における画面全体に見立てて)検出してもよい。

【0009】この場合、各ブロックから検出された合計
4つの動きベクトルV1,V2,V3,V4から、例え
ば次のような判定基準により、第nフィールドの動きベ
クトルV(n)を判定する。

【0010】第1のケース:4つの動きベクトルのうち
3つ以上が同一である場合、この一致するベクトルを第
nフィールドの動きベクトルV(n)とする。

【0011】第2のケース:第1のケース以外の場合で
あり、動きベクトルV(n)検出不能とするか、各ブロ
ックに重み付けを行なって動きベクトルV(n)を判定
するか、若しくは、各ブロックからの4つの動きベクト
ルV1,V2,V3,V4と同時に画面全体の動きベク
トルVwを検出し、動きベクトルV(n)として画面全
体の動きベクトルVwを採用する。

【0012】これは、複数のブロックのうちのひとつ、
例えば第3ブロックB3の動きベクトルV3が、人や車
等の動体の影響によって正しく検出できないような場合
に対処しようとする方法である。

【0013】図10に、従来の画像処理装置の一例とし
て、図9(B)のブロック配置における手振れ補正装置
のブロック図を示す。

【0014】時刻T0(図9(B)参照)までに、第
(n−1)フィールドの画像データAij(n−1)
は、データバスBUを介してフィールドメモリ6に格納
され、また画像データAij(n−1)のうち代表点デ
ータAk(n−1)は、データバスBUを介して代表点
メモリ2に格納されている。

【0015】期間T0〜T1において、入力信号1とし
て順次入力する第nフィールドの画像データAij
(n)は動きベクトル検出回路3に供給される。動きベ
クトル検出回路3の減算器31により画像データAij
(n)のうち第1および第2ブロックB1,B2の全捜
索点の各データと、代表点メモリ2からデータバスBU
を介して供給される代表点データAk(n−1)との差
分がとられ、絶対値回路32により差分絶対値とされ、
加算器33により差分絶対値の累加算値、即ち残差S
(l,m)の途中結果あるいは最終結果が計算され、第
1および第2残差メモリ34,35に格納される。

【0016】ここで、第1残差メモリ34には第1ブロ
ックB1の全ての残差S1(l,m)(または、その途
中結果)が、また第2残差メモリ35には第2ブロック
B2の残差S2(l,m)(または、その途中結果)が
格納される。残差S1(l,m),S2(l,m)は次
のように計算される。

【0017】

【数2】

【0018】動きベクトル計算回路39は、第1残差メ
モリ34に格納された第1ブロックB1の全残差S1
(l,m)のうち最小残差S1(l11,m11)を検
出し、第1ブロックB1の動きベクトルV1(l11,
m11)として出力する。

【0019】ここで、最小残差S11(l11,m1
1)、次の最小残差S12(l12,m12)、次の次
の最小残差S13(l13,m13)、・・・を検出
し、第1ブロックの動きベクトルとして複数個の動きベ
クトルV11(l11,m11),V12(l12,m
12),V13(l13,m13),・・・を出力する
ようにしてもよい。第1ブロックB1以外の各ブロック
についても同様である。

【0020】時刻T1において、第1ブロックB1の動
きベクトルV1(l11,m11)と第2ブロックB2
の動きベクトルV2(l21,m21)が制御回路5に
出力される。

【0021】期間T1〜T2において、第3ブロックB
3および第4ブロックの動きベクトルV31(l31,
m31)およびV41(l41,m41)が、動きベク
トル検出回路3により検出される。この期間T1〜T2
に、第1および第2残差メモリ34,35に格納される
各残差S3(l,m)およびS4(l,m)は次式で表
わされる。

【0022】

【数3】

【0023】このようにして、第nフィールドの入力が
終了する時刻、つまり時刻T2において、制御回路5は
上述のような判定基準に基づいて複数ブロックB1,B
2,B3およびB4の動きベクトルV1,V2,V3お
よびV4から第nフィールドの第(n−1)フィールド
に対する動きベクトルV(n)を判定し、この動きベク
トルV(n)を基準フィールド(例えば、第1フィール
ド)以降の累積動きベクトルVtに累加算(Vt(n)
=Vt(n−1)+V(n))し、この累積動きベクト
ルVt(n)分補正した読み出しアドレスADRをフィ
ールドメモリ6に出力する。

【0024】同期間T0〜T2において、つまり、動き
ベクトルV1,V2,V3,V4の検出と並行して、第
nフィールドの画像データAij(n)のうち第nフィ
ールドの代表点データAk(n)は代表点メモリ2に取
り込まれ、使用済みの代表点データAk(n−1)の更
新が順次行なわれる。また、同期間T0〜T2に、フィ
ールドメモリ6に格納されている第(n−1)フィール
ドの画像データAij(n−1)は、データバスBUを
介して補間回路7に順次出力され、出力済みの画像デー
タAij(n−1)は、第nフィールドの画像データA
ij(n)により順次更新される。

【0025】図11は、フィールドメモリ6に格納され
る入力画像領域と、次のフィールド期間に読み出される
出力画像領域を示す図である。

【0026】図11において、入力画像領域は、基準フ
ィールドの出力画像領域と、想定した最大動きベクトル
に対応して基準フィールドの出力画像領域の周辺に設定
された補正領域から構成されるので、基準フィールドあ
るいは任意フィールドの出力画像領域(点線で示す)は
入力画像領域より一廻り小さな領域となる。

【0027】出力画像領域が画枠領域よりも小さい場
合、画像データの補間による画像の拡大が必要である。

【0028】図12(A)は、補間回路7を示すブロッ
ク図、図12(B)は3/2倍に拡大する場合の同回路
の動作を示すタイミング図、図12(C)は補間結果を
示す図である。

【0029】図12(A)において、図10に示す入力
信号1は、各水平走査期間Hに走査線データYi(但
し、i=0,1,2,・・・)として順次入力する。入
力する走査線データYiは乗算器71により係数C0が
乗算された後、加算器75に入力する。これと同時に走
査線データYiは、スイッチ72を介して1H遅延線7
3に入力し、1水平走査期間(1H)遅延した後、乗算
器74により係数C1が乗算されて加算器75に入力す
る。加算器75は乗算器71,74からの両出力を加算
し、出力走査線データyiを出力する。

【0030】3/2倍に拡大する場合における補間回路
7のライン補間動作を示す図12(B)において、各走
査線データYi(Y0,Y1,Y2,・・・)は順次図
示のように入力するが、走査線データY0、若しくは2
つの走査線データY1とY2,Y3とY4,・・・を入
力した後の1水平走査期間(1H)は、ダミーデータD
Mを入力する。

【0031】スイッチ72は走査線データの入力期間中
はa側に、またダミーデータDMの入力期間中はb側に
切り換えられるので、1H遅延線73は、1水平走査期
間(1H)遅れの各走査線データY0,Y0,Y1,Y
2,Y2,Y3,Y4,Y4,・・・を乗算器74に出
力する。

【0032】乗算器71の係数C0は、水平走査期間
(H)に同期して、図示のように0,2/3,1/3と
なるように制御され、また乗算器74の係数C1は、同
様に1,1/3,2/3となるように制御されるので、
加算器75から1H遅れで出力される補正後の走査線デ
ータyiは次のようになる。

【0033】

【数4】

【0034】図12(C)に、入力する各走査線データ
Yiを実線で、また、補間後の各走査線データyiを点
線で示す。

【0035】上述、垂直方向への画像拡大と同時に水平
方向への拡大も必要であるが、周知の技術であるので説
明は省略する。また、図11において、出力画像領域と
画枠が一致する場合、上述のような画像の拡大は不要で
あるが、入力画像領域のフィールドメモリ6への書き込
みクロックを基準とすれば、出力画像領域は、同様に数
ライン毎にダミーデータDMを挿入して出力され、補間
回路7の代わりにデータ変換回路を用いてダミーデータ
DMの除去が行なわれる。即ち、この場合でもフィール
ドメモリからデータ変換回路への出力が休止するダミー
データ送出期間が同様に存在する。

【0036】図10において、次の第(n+1)フィー
ルド期間T0〜T2(n+1)において、フィールドメ
モリ6に格納されている画像データAij(n)は、制
御回路5からの読み出しアドレスADR(n)に基づい
て、データバスBUを介して補間回路7に順次出力さ
れ、上述のような補間処理等の後、出力信号8として出
力される。

【0037】なお、上述の従来装置において、フィール
ドメモリ6の読み書きは次のように行なわれる。第(n
−1)フィールドの出力画像領域のうち既に補間回路7
に出力し終った領域、並びにこの出力画像領域の外側の
出力されない領域(補正領域)に、入力する第nフィー
ルドの画像データAij(n)が順次重ね書きされる。

【0038】また、上例において各捜索範囲Wkに水平
方向2kq、垂直方向2krのステップで設定される捜
索点の個数は(Q×R)/(2kq×2kr)である。

【0039】

【発明が解決しようとする課題】上述の従来装置におい
て、各ブロックの捜索範囲Wk内に設定された全ての捜
索点のそれぞれについて、残差S(l,m)が計算され
るので、各残差メモリ34,35の容量はそれぞれ(Q
×R)/(2kq×2kr)ワードであり、検出される
動きベクトルV1,V2,V3,V4またはVwの精度
は前述の通り水平方向±kq、垂直方向±kr(但し、
k>1)である。

【0040】動きベクトルの精度を±kq,±krから
±q,±rにしようとすれば、各残差メモリ34,35
の容量はk×k倍に増加する。例えば、精度を3倍向上
するには9倍のメモリ容量が必要となり、回路規模が急
増してしまうという課題があった。

【0041】そこで、この発明は、あるフィールドの画
像信号が入力する期間には従来通り±kq,±krの精
度で動きベクトルを検出して第1動きベクトルとし、こ
の入力期間以降、次フィールドの入力が開始するまでの
期間(つまり、垂直帰線期間)やダミーデータ送出期間
等を利用して、±q,±rの精度で第2の動きベクトル
を検出することにより、回路規模を従来と同程度に抑え
ながら、動きベクトルの精度が大きく改善できる画像処
理装置および画像処理方法を提案するものである。

【0042】

【課題を解決するための手段】上述の課題を解決するた
め、この発明においては、入力する任意画像を複数ブロ
ックに分割し、この複数ブロックの各々について過去の
画像に対する動きベクトルをそれぞれ検出し、検出され
た複数の動きベクトルに基づいて処理を行う画像処理装
置において、任意画像の画像信号入力期間に、所望精度
よりも低い第1精度で各ブロックの第1動きベクトルを
検出する第1動きベクトル検出回路と、画像信号入力期
間外の所定期間に、各ブロックの第1動きベクトルに基
づいて所望精度の動きベクトルを検出する第2動きベク
トル検出回路を有し、各ブロックに対する所望精度の動
きベクトルに基づいて、所定の処理を行うものである。
また、入力する任意画像の画面を複数ブロックに分割
し、この複数ブロックの各々について過去の画像に対す
る動きベクトルをそれぞれ検出し、検出された複数の動
きベクトルに基づいて画像処理を行う画像処理装置にお
いて、任意画像の画像信号入力期間には所望精度よりも
低い第1精度で各ブロックの第1動きベクトルを検出
し、画像信号入力期間外の所定期間には各ブロックの第
1動きベクトルに基づいて所望精度の動きベクトルを検
出する動きベクトル検出回路を有し、各ブロックに対す
る所望精度の動きベクトルに基づいて、所定の処理を行
うものである。

【0043】また、この発明の画像処理方法は、入力す
る任意画像を複数ブロックに分割し、この複数ブロック
の各々について過去の画像に対する動きベクトルをそれ
ぞれ検出し、検出された複数の動きベクトルに基づいて
処理を行う画像処理方法であって、任意画像の画像信号
入力期間に、所望精度よりも低い第1精度で各ブロック
の第1動きベクトルを検出し、画像信号入力期間外の所
定期間に、各ブロックの第1動きベクトルに基づいて所
望精度の動きベクトルを検出し、各ブロックに対する所
望精度の動きベクトルに基づいて、所定の処理を行うも
のである。

【0044】

【作用】図1に示されるこの発明の一実施例の動作を説
明する。但し、1画面を4(=2×2)ブロックに分割
した場合(図7(B)参照)について説明する。

【0045】1)任意の第nフィールド期間の開始時点
における状態は次の通りである。

【0046】1−1)代表点メモリ2には第(n−1)
フィールドの代表点データAk(n−1)が格納されて
いる。

【0047】1−2)制御回路5は、第2動きベクトル
検出回路4の出力した複数の第2動きベクトルV12,
V22,V32,V42から第(n−1)フィールドの
動きベクトルV(n−1)を判定し、基準フィールド
(例えば、第1フィールド)以降の累積動きベクトル分
だけ補正した読み出しアドレスADR(n−1)をフィ
ールドメモリ6に出力する。

【0048】1−3)フィールドメモリ6には第(n−
1)フィールドの画像データAij(n−1)が格納さ
れている。

【0049】2)第nフィールド期間のうち、信号入力
期間における動作は次の通りである。

【0050】2−1)第1動きベクトル検出回路3は、
順次入力する画像データAij(n)のうち各捜索範囲
Wk内に第1の密度、すなわち水平方向に2kq、垂直
方向に2krのステップで設定された全ての捜索点
(l,m)における画像データAk(l,m)(n)
と、代表点メモリ2からデータバスBUを介して供給さ
れる代表点データAk(n−1)とから第1の精度で各
ブロックの動きベクトルを検出する。即ち、減算器31
は両データの差分を算出し、絶対値回路32は差分の絶
対値を加算器33に出力する。信号入力期間の前半には
第1および第2ブロックについて、また信号入力期間の
後半には第3および第4ブロックについて全てのベクト
ル(l,m)に対する残差S(または、その中間結果)
が残差メモリ34および35に読み書きされる。加算器
33は、絶対値回路32から入力する差分絶対値と、残
差メモリ34または35から入力する各残差Sの中間結
果とを累加算し、残差メモリ34または35に格納す
る。第1動きベクトル計算回路39は、入力期間の前半
には第1残差メモリ34に格納された残差Sのうち、最
小の残差となる第1精度±kq,±krのベクトル(l
11,m11)を第1ブロックの第1動きベクトルV1
1として、また、第2残差メモリ35の残差Sのうち最
小の残差となる第1精度のベクトル(l21,m21)
を第2ブロックの第1動きベクトルV21として制御回
路5に出力する。信号入力期間の後半には、動きベクト
ル計算回路39は同様に第3および第4ブロックの第1
動きベクトルV31,V41を制御回路5に出力する。

【0051】2−2)代表点メモリ2は、入力する第n
フィールドの画像データAij(n)のうち各代表点P
kにおける画像データAk(n)を順次取り込む。

【0052】2−3)フィールドメモリ6は、読み出し
アドレスADR(n−1)により第(n−1)フィール
ドの画像データAij(n−1)をデータバスBUを介
して補間回路7に出力すると同時に、順次入力する第n
フィールドの画像データAij(n)を、既に出力が終
了して不要となった画像データAij(n−1)の領域
に順次重ね書きする。

【0053】2−4)補間回路7は、フィールドメモリ
6から入力する画像データAij(n−1)に補間処理
を施し、画枠を満たすように拡大して第(n−1)フィ
ールドの出力信号8とする。

【0054】3)第nフィールド期間のうち、信号入力
期間後の垂直帰線期間における動作は次の通りである。

【0055】3−1)上記垂直帰線期間のうち、第1四
半期間において、第2動きベクトル検出回路4は、第1
ブロックの第1動きベクトルV11に基づいて、第1精
度より高い第2精度(±q,±r)の第2動きベクトル
V12を検出して、制御回路5に出力する。即ち、制御
回路5は第1ブロックの第1動きベクトルV11分補正
した読み出しアドレスADEをフィールドメモリ6に出
力する。フィールドメモリ6は、読み出しアドレスAD
Eの制御により、第1動きベクトルV11の近傍の第2
捜索範囲に第2の密度、即ち水平方向2q、垂直方向2
rのステップで設定されたベクトル(l,m)における
画像データAk(l,m)(n)をデータバスBUを介
して第2動きベクトル検出回路4に出力する。一方、代
表点メモリ2は、代表点データAk(n−1)をデータ
バスBUを介して第2動きベクトル検出回路4に出力す
る。第2動きベクトル検出回路4における全てのベクト
ル(l,m)のそれぞれに対する差分絶対値の累加算、
すなわち残差計算は、動きベクトル検出回路3と同様で
あるので説明を省略する。第2動きベクトル計算回路4
9は第3残差メモリ44に格納された全てのベクトル
(l,m)に対する残差S(l,m)のうち最小の残差
を与えるベクトル(l11,m11)を第1ブロックの
第2動きベクトルV12として制御回路5に出力する。

【0056】3−2)上記垂直帰線期間のうち第2四半
期間において、第2動きベクトル検出回路4は、第2ブ
ロックの第1動きベクトルV21に基づいて第2ブロッ
クの第2動きベクトルV22を検出し、制御回路5に出
力する。

【0057】3−3)上記垂直帰線期間のうち第3四半
期間において、第2動きベクトル検出回路4は、第3ブ
ロックの第1動きベクトルV31に基づいて第3ブロッ
クの第2動きベクトルV32を検出し、制御回路5に出
力する。

【0058】3−4)上記垂直帰線期間のうち第4四半
期間において、第2動きベクトル検出回路4は、第4ブ
ロックの第1動きベクトルV41に基づいて第4ブロッ
クの第2動きベクトルV42を検出し、制御回路5に出
力する。

【0059】3−5)制御回路5は、所定の判断基準に
基づいて、第2精度の4つの第2動きベクトルV12,
V22,V32,V42から第nフィールドの第(n−
1)フィールドに対する動きベクトルV(n)を判定
し、基準フィールド以降の累積動きベクトルVtを計算
し、累積動きベクトルVt分補正した読み出しアドレス
ADRをフィールドメモリ6に出力する。

【0060】4)引き続くフィールド期間、即ち第(n
+1)フィールド期間、第(n+2)フィールド期間、
・・・において、上記の動作(項(2)および項
(3))を繰り返す。

【0061】このように、この発明では、任意のフィー
ルド期間のうち、画像データ入力期間には1画面を複数
ブロックに分割し、各ブロックから第1精度で動きベク
トルを検出し、垂直帰線期間には第1精度の動きベクト
ルに基づいて第1精度よりも高い第2精度で動きベクト
ルを検出する。従って、この発明をビデオカメラ等の手
振れ補正装置に適用した場合には、第2精度の複数動き
ベクトルから最適動きベクトルを選択することによる的
確な手振れ補正が、また画像通信における動画像圧縮装
置に適用した場合には、第2精度の複数動きベクトルに
より各ブロックの画像データに対して高能率のデータ圧
縮が、回路規模を従来と同程度に抑えながら可能とな
る。

【0062】

【実施例】続いて、この発明をビデオカメラ等の手振れ
補正装置に適用した場合の実施例について、図面を参照
して詳細に説明する。

【0063】図1は、この発明の一実施例を示すブロッ
ク図であり、従来例(図10)と同一または類似の部分
には同一符号を付してその重複説明を省略する。また、
図2は、同装置の動作を示すタイミングチャートであ
る。但し、図2において垂直帰線期間T2〜T′0は実
際より拡大して図示する。

【0064】この実施例の動作を、従来例の説明に準じ
て1画面を4ブロックB1,B2,B3およびB4に分
割し(図9(B)参照)、第(n−1)フィールドに対
する第nフィールドの各ブロックの動きベクトルをそれ
ぞれ検出し、複数の動きベクトルから第nフィールドの
動きベクトルV(n)を判定する場合について説明す
る。

【0065】図2において、任意の第nフィールド期間
の開始時刻T0における各部の状態は、図示を省略した
が、第(n+1)フィールドの開始時刻T′0における
各部の状態から容易に類推でき、次の通りである。

【0066】代表点メモリ2には、第(n−1)フィー
ルドの代表点Pk(但し、k=0〜15)における画像
データAk(n−1)が格納されている。また、フィー
ルドメモリ6には第(n−1)フィールドの全画像デー
タAij(n−1)が格納されている。また、制御回路
5は第(n−1)フィールドの読み出しアドレスADR
(n−1)をフィールドメモリ6に出力する。

【0067】1)第nフィールド期間のうちデータ入力
期間T0〜T2における各部の動作は次の通りである。

【0068】1−1)入力信号1として、第nフィール
ドの画像データAij(n)が順次入力する。

【0069】1−2)代表点メモリ2は、格納している
第(n−1)フィールドの代表点データAk(n−1)
を第1動きベクトル検出回路3に出力すると共に、入力
する第nフィールドの画像データAij(n)のうち各
代表点Pkにおける画像データAk(n)を順次取り込
む。

【0070】1−3)第1動きベクトル検出回路3は、
順次入力する第nフィールドの画像データAij(n)
と、代表点メモリ2からデータバスBUを介して供給さ
れる代表点データAk(n−1)とから、各ブロックの
捜索範囲Wk内に水平方向kq、垂直方向krのステッ
プで設定された全てのベクトル(l,m)について残差
S(l,m)を計算し、最小残差となる第1精度(±k
q,±kr)のベクトルを、期間T0〜T1には第1お
よび第2ブロックの第1動きベクトルV11およびV2
1として、また期間T1〜T2には第3および第4ブロ
ックの第1動きベクトルV31およびV41として制御
回路5に出力する。ここで、第1動きベクトル検出回路
3の構成および動作は、従来例(図10)の動きベクト
ル検出回路3と同様であるのでその重複説明は省略す
る。

【0071】1−4)制御回路5は、時刻T0までに第
2動きベクトル検出回路4の出力する第(n−1)フィ
ールドの第2動きベクトルV12(n−1),V22
(n−1),V32(n−1)およびV42(n−1)
から前述の判定基準に基づいて第(n−1)フィールド
の動きベクトルV(n−1)を判定し、基準フィールド
(例えば、第1フィールド)以降の累積動きベクトルV
tにこの動きベクトルV(n−1)を累加算して累積動
きベクトルVtを更新し、この更新された累積動きベク
トル分だけシフトした出力画像領域(図11参照)とす
るための読み出しアドレスADR(n−1)をフィール
ドメモリ6に供給する。

【0072】1−5)フィールドメモリ6は、読み出し
アドレスADR(n−1)により第(n−1)フィール
ドの出力画像領域内の画像データAij(n−1)をデ
ータバスBUを介して、順次補間回路7に出力する。こ
れと並行して、フィールドメモリ6には、順次入力する
第nフィールドの画像データAij(n)が、出力画像
領域外の補正領域並びに出力画像領域のうち既に出力が
終了した領域に重ね書きされる。

【0073】1−6)補間回路7は、フィールドメモリ
6から供給される画像データAij(n−1)に補間処
理を施し、出力画像領域を画枠領域まで拡大して出力信
号8とする。

【0074】2)第nフィールド期間のうち垂直帰線期
間T2〜T′0における各部の動作は次の通りである。

【0075】2−1)期間T2〜T21において、代表
点メモリ2は第1ブロックB1内の代表点Pk(但し、
k=0〜3)の画像データAk(n−1)をデータバス
BUを介して第2動きベクトル検出回路4に出力する。
時刻T2において、制御回路5は第1ブロックの第1動
きベクトルV11分補正した読み出しアドレスADE
(n)をフィールドメモリ6に供給する。同期間T2〜
T21において、フィールドメモリ6はこの読み出しア
ドレスADE(n)により第1動きベクトルV11の先
端近傍の第2捜索範囲W′k内に水平方向2q、垂直方
向2rのステップで設定した各ベクトル(l,m)に対
する画像データAk(l,m)(n)を順次第2動きベ
クトル検出回路4に出力する。同期間T2〜T21にお
いて、第2動きベクトル検出回路4は、代表点メモリ2
から入力する代表点データAk(n−1)とフィールド
メモリ6から入力する画像データAk(l,m)(n)
との差分絶対値を累加算して、各ベクトル(l,m)に
対する残差を求め、最小残差を与える第2精度(±q,
±r)のベクトルを第1ブロックの第2動きベクトルV
12として制御回路5に出力する。ここで、第2動きベ
クトル検出回路4の構成と動作は第1動きベクトル検出
回路3と同様であるので、その重複説明を省略する。

【0076】2−2)期間T21〜T22において、代
表点メモリ2は第2ブロックB2内の代表点Pk(但
し、k=4〜7)の画像データAk(n−1)をデータ
バスBUを介して第2動きベクトル検出回路4に出力す
る。時刻T21において、制御回路5は第2ブロックの
第1動きベクトルV21分補正した読み出しアドレスA
DE(n)をフィールドメモリ6に供給する。同期間T
21〜T22において、フィールドメモリ6はこの読み
出しアドレスADE(n)により第1動きベクトルV2
1の先端近傍の第2捜索範囲W′k内に水平方向2q、
垂直方向2rのステップで設定した各ベクトル(l,
m)に対する画像データAk(l,m)(n)を順次第
2動きベクトル検出回路4に出力する。同期間T21〜
T22において、第2動きベクトル検出回路4は、代表
点メモリ2から入力する代表点データAk(n−1)と
フィールドメモリ6から入力する画像データAk(l,
m)(n)との差分絶対値を累加算して、各ベクトル
(l,m)に対する残差を求め、最小残差を与える第2
精度(±q,±r)のベクトルを第2ブロックの第2動
きベクトルV22として制御回路5に出力する。

【0077】2−3)期間T22〜T23において、代
表点メモリ2は第3ブロックB3内の代表点Pk(但
し、k=8〜11)の画像データAk(n−1)をデー
タバスBUを介して第2動きベクトル検出回路4に出力
する。時刻T22において、制御回路5は第3ブロック
の第1動きベクトルV31分補正した読み出しアドレス
ADE(n)をフィールドメモリ6に供給する。同期間
T22〜T23において、フィールドメモリ6はこの読
み出しアドレスADE(n)により第1動きベクトルV
31の先端近傍の第2捜索範囲W′k内に水平方向2
q、垂直方向2rのステップで設定した各ベクトル
(l,m)に対する画像データAk(l,m)(n)を
順次第2動きベクトル検出回路4に出力する。同期間T
22〜T23において、第2動きベクトル検出回路4
は、代表点メモリ2から入力する代表点データAk(n
−1)とフィールドメモリ6から入力する画像データA
k(l,m)(n)との差分絶対値を累加算して、各ベ
クトル(l,m)に対する残差を求め、最小残差を与え
る第2精度(±q,±r)のベクトルを第3ブロックの
第2動きベクトルV32として制御回路5に出力する。

【0078】2−4)期間T23〜T′0において、代
表点メモリ2は第4ブロックB4内の代表点Pk(但
し、k=12〜15)の画像データAk(n−1)をデ
ータバスBUを介して第2動きベクトル検出回路4に出
力する。時刻T23において、制御回路5は第4ブロッ
クの第1動きベクトルV41分補正した読み出しアドレ
スADE(n)をフィールドメモリ6に供給する。同期
間T23〜T′0において、フィールドメモリ6はこの
読み出しアドレスADE(n)により第1動きベクトル
V41の先端近傍の第2捜索範囲W′k内に水平方向2
q、垂直方向2rのステップで設定した各ベクトル
(l,m)に対する画像データAk(l,m)(n)を
順次第2動きベクトル検出回路4に出力する。同期間T
23〜T′0において、第2動きベクトル検出回路4
は、代表点メモリ2から入力する代表点データAk(n
−1)とフィールドメモリ6から入力する画像データA
k(l,m)(n)との差分絶対値を累加算して、各ベ
クトル(l,m)に対する残差を求め、最小残差を与え
る第2精度(±q,±r)のベクトルを第4ブロックの
第2動きベクトルV42として制御回路5に出力する。

【0079】2−5)次のフィールドの開始時刻T′0
において、制御回路5は、まず前述のような判定基準に
基づいて、各ブロックB1〜B4に対する第2動きベク
トルV12,V22,V32,V42から、第nフィー
ルドの第(n−1)フィールドに対する動きベクトルV
(n)を判定する。

【0080】制御回路5は、次に、基準フィールド(例
えば、第1フィールド)以降の累積動きベクトルVtに
動きベクトルV(n)を累加算して累積動きベクトルV
tを更新し、この更新された累積動きベクトルVt分だ
けシフトした出力画像領域とする読み出しアドレスAD
R(n)をフィールドメモリ6に供給する。

【0081】以上が、第nフィールド期間におけるこの
実施例の動作であり、各フィールド期間毎に同様の動作
が繰り返され、リアルタイムの画像処理(この例では、
画像の手振れ補正処理)が行なわれる。

【0082】図3は、この発明の他の実施例を示すブロ
ック図である。

【0083】図1から明らかなように、第1動きベクト
ル検出回路3と第2動きベクトル検出回路4は同様の構
成であり、また、図2から明らかなように、第1および
第2動きベクトル検出回路3,4は、同時には動作しな
い。従って、図3における単一の動きベクトル検出回路
3は、データ入力期間T0〜T2には図1の同回路3と
して、また、垂直帰線期間T2〜T′0には図1の同回
路4として動作するように構成される。

【0084】従って、単一の動きベクトル検出回路3の
上述のような時分割制御がスイッチ51を期間T0〜T
2ではa側に、また期間T2〜T′0ではb側に切り換
えることによって行なわれること以外、図3の動作は図
1と同様であり、その重複説明を省略する。

【0085】図4は、第1ブロックの第1および第2動
きベクトルV11,V12の一例を示す説明図である。

【0086】図において、第1ブロックB1の捜索範囲
Wk(但し、k=0〜3;図9(B)参照)内に、水平
方向2kq、垂直方向2krのステップで設定された全
てのベクトル(l,m)を点「○」で示す。

【0087】T0〜T1の期間に、「数2」に準じて全
てのベクトル(l,m)のそれぞれについて残差を求
め、最小残差を与える第1精度(±kq,±kr)のベ
クトル(l11,m11)を検出して、第1ブロックB
1の第1動きベクトルV11とする。

【0088】T2〜T21の期間に、第1動きベクトル
V11の近傍の第2捜索範囲W′k内に、水平方向2
q、垂直方向2rのステップで設定した全てのベクトル
(l,m)(図中、点「・」で示される5×5=25
点)のそれぞれについて残差を求め、最小残差を与える
第2精度(±q,±r)のベクトル(l21,m21)
を検出して第1ブロックの第2動きベクトルV12とす
る。

【0089】ここで、図はk=3の場合、すなわち、第
1と第2動きベクトル(V11とV12)の間の精度を
3倍向上する場合を示す。また、この場合、図1に示す
第3残差メモリ44の容量は25ワードである。

【0090】図5は、第1ブロックB1から複数(ここ
では2つ)の第1動きベクトルを候補ベクトルとして出
力する場合の説明図である。

【0091】この例においては、第1ブロックB1の第
1動きベクトルを検出する際、最小残差を与えるベクト
ル(l11,m11)を第1候補ベクトルVc1とし、
次の最小残差を与えるベクトル(l12,m12)を第
2候補ベクトルVc2とする。

【0092】第1候補ベクトルVc1の近傍の第2捜索
範囲W′k内に設定した25点と、第2候補ベクトルV
c2の近傍の第2捜索範囲W″k内に設定した25点、
計50点のベクトルのそれぞれについて残差を求め、最
小残差を与える第2精度(±q,±r)のベクトル(l
121,m121)を第1ブロックB1の第2動きベク
トルV12とする。この場合、図1に示す第3残差メモ
リ44の容量は50ワードである。

【0093】図6は、第2捜索範囲W′kを複数(図で
は2つ)の範囲に分割して、第2捜索範囲の(1)W′
k1と第2捜索範囲(2)W′k2とした例である。

【0094】この場合、まず期間T2〜T21の前半で
第2捜索範囲(1)W′k1について15個の残差を求
め、このうちの最小残差を検出し、期間T2〜T21の
後半で第2捜索範囲(2)W′k2について10個の残
差を求め、このうちの最小残差を検出する。次に、これ
ら2つの最小残差のうち、より小さい残差を与える第2
精度のベクトル(l21,m21)をこの例における第
1ブロックの第2動きベクトルV12とする。この場
合、図1に示す第3残差メモリ44の容量は15ワード
である。

【0095】図7は、この発明の第3実施例を示すブロ
ック図であり、第1実施例(図1)にローパスフィルタ
(LPF)21および代表点メモリ22を追加した構成
である。

【0096】この実施例において、第(n−1)フィー
ルド期間に代表点メモリ22に格納される代表点データ
Ak(n−1)はLPF21による平滑処理の施された
画像データである。また、第nフィールド期間のデータ
入力期間T0〜T2に順次入力する画像データAij
(n)も同様にLPF21による平滑処理が施された
後、第1動きベクトル検出回路3に入力する。

【0097】従って、この実施例によれば、第1動きベ
クトル検出回路3における低精度(第2精度より低い第
1精度)の動きベクトルの検出を、平滑処理された代表
点データと平滑処理された入力画像データとから求める
ことにより、より的確に第1動きベクトルを検出しよう
とするものである。

【0098】上述以外の動作は、図1の実施例と同様で
あり、その重複説明を省略する。

【0099】図8は、この発明の第4実施例を示すブロ
ック図であり、第2実施例(図3)における第1動きベ
クトルの検出に対して平滑処理が施されるように、LP
F21、代表点メモリ22およびスイッチ52を追加し
た構成である。

【0100】スイッチ52は、期間T0〜T2にはa
側、また期間T2〜T′0にはb側に切り換えられる。
LPF21および代表点メモリ22の動作については上
述の通りであり、その他の動作は図3と同様であるの
で、その重複説明を省略する。

【0101】以上、この発明をビデオカメラ等の手振れ
補正装置に適用した実施例について説明したが、画像伝
送等において動画像のデータ量の圧縮を行なう動画像圧
縮装置に適用する場合、上述の高精度に検出された第2
動きベクトルを各ブロックの動きベクトルとし、例えば
各ブロック毎に動きベクトル分シフトした画像データの
差分をとることにより、高能率のデータ圧縮が達成でき
る。

【0102】なお、上述説明において、1画面内に設定
されるブロック数を4(=2×2)個としたが、任意の
数のブロックを設定してよく、また、例えば図9(B)
において、第1および第2ブロックB1,B2からなる
第5ブロックを設定してもよく、あるいは第1、第2、
第3および第4ブロックB1,B2,B3,B4からな
る第6ブロック(=全画面)を設定してもよい。この場
合、ブロック数に対応する数の第2動きベクトルを求め
るため、垂直帰線期間T2〜T′0はブロック数に対応
して分割すればよい。

【0103】また、第2動きベクトルを求めるための所
定期間として、上述した垂直帰線期間以外に、前述した
ダミーデータ送出期間および水平帰線期間を利用しても
よい。また、代表点を画面内に正方格子状に16点設定
する例について上述したが、六方格子状等でもよく、代
表点の数も任意である。また、任意フィールド(第nフ
ィールド)の直前のフィールド(第(n−1)フィール
ド)に対する動きベクトルを検出したが、フィールド番
号の差(=i)は1に限らず任意である。ここで、入力
信号がディジタルデータであり、代表点座標等が小数で
与えられる場合、対応する画素が存在しないが、周知の
ように近傍の画素から補間して代表点データ等とすれば
よい。

【0104】

【発明の効果】上述のように、この発明は、画像データ
の入力期間には画面内の各ブロックについて第1精度で
第1動きベクトルを検出し、水平および垂直帰線期間、
並びにダミーデータ送出期間には、第1動きベクトルに
基づいて第1精度よりも高い第2精度で第2動きベクト
ルを検出し、この第2動きベクトルに基づいて画像の手
振れ補正や画像データ量の圧縮が行なわれるので、回路
規模を従来と同程度に抑えながら、より的確な手振れ補
正やより高能率の画像データ量の圧縮が可能となる効果
がある。

【図面の簡単な説明】

【図1】この発明の第1実施例を示すブロック図であ
る。

【図2】同実施例の動作を示すタイミングチャートであ
る。

【図3】この発明の第2実施例を示すブロック図であ
る。

【図4】第1およぴ第2動きベクトルの説明図である。

【図5】複数の候補ベクトルに基づく第2動きベクトル
検出の説明図である。

【図6】第2捜索範囲W′kの分割例である。

【図7】この発明の第3実施例を示すブロック図であ
る。

【図8】この発明の第4実施例を示すブロック図であ
る。

【図9】従来例における代表点PkおよびブロックB1
〜B4の配置の一例を示す図である。

【図10】従来装置の一例を示すブロック図である。

【図11】入出力画像領域を示す図である。

【図12】補間回路7のブロック図および説明図であ
る。

【符号の説明】

1 入力信号 2,22 代表点メモリ 3 動きベクトル検出回路(第1動きベクトル検出回
路) 4 第2動きベクトル検出回路 5 制御回路 6 フィールドメモリ 7 補間回路 8 出力信号 21 ローパスフィルタ(LPF) 31,41 減算器 32,42 絶対値回路 33,43 加算器 34 第1残差メモリ 35 第2残差メモリ 39,49 動きベクトル計算回路 44 第3残差メモリ 51,52 スイッチ 71,74 乗算器 72 スイッチ 73 1H遅延線 75 加算器

フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 5/232 G06T 7/20 H04N 7/32

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 入力する任意画像を複数ブロックに分割
    し、この複数ブロックの各々について過去の画像に対す
    る動きベクトルをそれぞれ検出し、検出された複数の動
    きベクトルに基づいて処理を行う画像処理装置におい
    て、 上記任意画像の画像信号入力期間に、所望精度よりも低
    い第1精度で各ブロックの第1動きベクトルを検出する
    第1動きベクトル検出回路と、 上記画像信号入力期間外の所定期間に、上記各ブロック
    の第1動きベクトルに基づいて上記所望精度の動きベク
    トルを検出する第2動きベクトル検出回路を有し、 上記各ブロックに対する上記所望精度の動きベクトルに
    基づいて、所定の処理を行うことを特徴とする画像処理
    装置。
  2. 【請求項2】 入力する任意画像の画面を複数ブロック
    に分割し、この複数ブロックの各々について過去の画像
    に対する動きベクトルをそれぞれ検出し、検出された複
    数の動きベクトルに基づいて画像処理を行う画像処理装
    置において、 上記任意画像の画像信号入力期間には所望精度よりも低
    い第1精度で各ブロックの第1動きベクトルを検出し、
    上記画像信号入力期間外の所定期間には上記各ブロック
    の第1動きベクトルに基づいて上記所望精度の動きベク
    トルを検出する動きベクトル検出回路を有し、 上記各ブロックに対する上記所望精度の動きベクトルに
    基づいて、所定の処理を行うことを特徴とする画像処理
    装置。
  3. 【請求項3】 入力する任意画像を複数ブロックに分割
    し、この複数ブロックの各々について過去の画像に対す
    る動きベクトルをそれぞれ検出し、検出された複数の動
    きベクトルに基づいて処理を行う画像処理方法におい
    て、 上記任意画像の画像信号入力期間に、所望精度よりも低
    い第1精度で各ブロックの第1動きベクトルを検出し、 上記画像信号入力期間外の所定期間に、上記各ブロック
    の第1動きベクトルに基づいて上記所望精度の動きベク
    トルを検出し、 上記各ブロックに対する上記所望精度の動きベクトルに
    基づいて、所定の処理を行うことを特徴とする画像処理
    方法。
JP17411491A 1991-07-15 1991-07-15 画像処理装置および画像処理方法 Expired - Fee Related JP3132055B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP17411491A JP3132055B2 (ja) 1991-07-15 1991-07-15 画像処理装置および画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17411491A JP3132055B2 (ja) 1991-07-15 1991-07-15 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JPH0522647A JPH0522647A (ja) 1993-01-29
JP3132055B2 true JP3132055B2 (ja) 2001-02-05

Family

ID=15972888

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17411491A Expired - Fee Related JP3132055B2 (ja) 1991-07-15 1991-07-15 画像処理装置および画像処理方法

Country Status (1)

Country Link
JP (1) JP3132055B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6458672B1 (en) 1997-05-12 2002-10-01 Silicon Genesis Corporation Controlled cleavage process and resulting device using beta annealing
US6486041B2 (en) 1997-05-12 2002-11-26 Silicon Genesis Corporation Method and device for controlled cleaving process
US6500732B1 (en) 1999-08-10 2002-12-31 Silicon Genesis Corporation Cleaving process to fabricate multilayered substrates using low implantation doses
US6513564B2 (en) 1999-08-10 2003-02-04 Silicon Genesis Corporation Nozzle for cleaving substrates
US6548382B1 (en) 1997-07-18 2003-04-15 Silicon Genesis Corporation Gettering technique for wafers made using a controlled cleaving process

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007067694A (ja) * 2005-08-30 2007-03-15 Mitsubishi Electric Corp 画像符号化装置、カメラ、携帯端末機器および画像符号化方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6458672B1 (en) 1997-05-12 2002-10-01 Silicon Genesis Corporation Controlled cleavage process and resulting device using beta annealing
US6486041B2 (en) 1997-05-12 2002-11-26 Silicon Genesis Corporation Method and device for controlled cleaving process
US6511899B1 (en) 1997-05-12 2003-01-28 Silicon Genesis Corporation Controlled cleavage process using pressurized fluid
US6528391B1 (en) 1997-05-12 2003-03-04 Silicon Genesis, Corporation Controlled cleavage process and device for patterned films
US6558802B1 (en) 1997-05-12 2003-05-06 Silicon Genesis Corporation Silicon-on-silicon hybrid wafer assembly
US6548382B1 (en) 1997-07-18 2003-04-15 Silicon Genesis Corporation Gettering technique for wafers made using a controlled cleaving process
US6500732B1 (en) 1999-08-10 2002-12-31 Silicon Genesis Corporation Cleaving process to fabricate multilayered substrates using low implantation doses
US6513564B2 (en) 1999-08-10 2003-02-04 Silicon Genesis Corporation Nozzle for cleaving substrates

Also Published As

Publication number Publication date
JPH0522647A (ja) 1993-01-29

Similar Documents

Publication Publication Date Title
US5374995A (en) Method and apparatus for enhancing sharpness of a sequence of images subject to continuous zoom
EP0294961B1 (en) Motion vector selection in television images
JP3438233B2 (ja) 画像変換装置および方法
JP2989364B2 (ja) 画像処理装置及び画像処理方法
JP3151245B2 (ja) 多数のソースからのビデオ画像をリアルタイムで合成するためのシステムおよび方法
US5289274A (en) Electronic image stabilization apparatus
EP0294956B1 (en) Motion vector reduction in television images
US5345264A (en) Video signal processing circuit for a video camera using a luminance signal
DE69812882T2 (de) Verfahren zur bewegungskompensierten Mehrhalbbildverbesserung von Videostandbildern
US4672463A (en) Method for emphasizing sharpness in picture scanning recording time in a picture reproducing machine
EP0549681B2 (en) Video image processing
US4774581A (en) Television picture zoom system
KR100254958B1 (ko) 디지탈 비디오 신호 변환 장치
EP0918439A1 (en) Device and method for converting two-dimensional video into three-dimensional video
US5838371A (en) Image pickup apparatus with interpolation and edge enhancement of pickup signal varying with zoom magnification
EP0294957B1 (en) Motion vector processing in digital television images
JP3429061B2 (ja) 電子スチルカメラ
JP2008507899A (ja) 取得された画像フレーム間の意図的でないカメラ運動を補正するためのビデオデータの処理
US8081225B2 (en) Image processing apparatus and method, recording medium, and program
US6239847B1 (en) Two pass multi-dimensional data scaling arrangement and method thereof
EP0574192B1 (en) Implementation architecture for performing hierarchical motion analysis of images in real time
US7269220B2 (en) Adaptive motion detection and control
US20060256213A1 (en) Image processing circuit of image input device
US5187574A (en) Method for automatically adjusting field of view of television monitor system and apparatus for carrying out the same
US4672442A (en) Frame rate conversion system in television signal

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees