JP2647165B2 - 画像動き検出装置及び画像動き補正装置 - Google Patents

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） この発明は、撮像カメラの平行移動や振動などにより
テレビジョン画面の画像が不要に動くのを検出しその動
きを補正する画像動き検出装置及び画像動き補正装置に
関する。

（従来の技術） テレビジョン画面における画像の動きは、画像中の物
体の移動によるものとカメラの平行移動によるものとが
ある。前者は、画像の局部的な動きであるのに対し、後
者は画像全体が相互関係をほぼ維持したまま動く平行移
動現像としてあらわれる。このような画像全体の平行移
動は、さらにカメラのパンニングとカメラの振動などに
よる細かい動きに分けられ、この細かい動きがあるとみ
にくい画面となる。このような不要な動きを改善するた
めに、その方向及び大きさを示す動きベクトルを検出し
て、画像全体の動きを補正する補正装置が開発されてい
る。

第８図は補正装置の原理を示している。画面上の画像
が同図の（ａ）〜（ｂ）〜（ｃ）のように矢印の方向に
平行移動したとすると、動きベクトル（矢印）は第９図
に示すように横方向及び縦方向の偏移（a,b）で与えら
れる。従って、この動きベクトルを検出して，その情報
を用いて現フレームの画像を動きベクトルの大きさだけ
逆方向にシフトすれば、カメラの平行移動による動きを
補償できる。

ところで、上記の補償を行なうためには、画像動きを
検出しなければならない。従来の画像動き検出方法は、
１フレーム前（２フィールド前）の映像信号の中に代表
点を設定し、現在の映像信号と相関演算を行ない動きベ
クトル情報を求めている。

即ち、第10図に示すように、例えば第３フィールドが
現フィールドの映像信号であるとすると、これにより２
フィールド前の映像信号の領域A1内の代表点Ｐの画素
と、第３フィールドの領域A3の複数の画素との演算を行
ない、代表点Ｐの画素と同一内容の画素を検出し、その
検出画素の方向を動き方向として判断している。そし
て、このような領域を複数設定して、各領域で得られる
動きベクトル情報の中で、同一方向を示すベクトル情報
毎に分類して、最も多く集まったベクトル情報により示
される方向及び大きさを画面全体の平行移動方向および
量として最終的な動きベクトル情報を得ている。

（発明が解決しようとする課題） 上記した従来の動きベクトル検出方法によると、フレ
ーム間による相関演算であるために、全体画像の動きベ
クトルとしては、フレーム毎に１つの動きベクトルしか
得ることができない。しかし、上記したカメラの平行移
動を考えた場合、フレーム毎にフレーム間の動きが検出
されたとしても、各フレーム毎にデジタル的な動きがあ
るのではなく、現実はその動きはフィールド間で連続的
に変化している。よって、上記動きベクトルにより画像
位置をフレーム毎に補正したとしても、動きに追従した
滑らかな補正は不可能であり、カメラの動きの周波数や
振幅により画像補正結果が不自然になる場合がある。

そこで、この発明は、フィールド毎あるいはフレーム
毎に得られる動きベクトル情報から、さらにその間を埋
めるような補間動きベクトルを作り、全体画像の動き補
正をフィールド間隔あるいはフレーム間隔よりも更に細
かい間隔で検出して動き補正を行なうことができ画像動
きに対する円滑な補正を得る画像動き検出装置及び画像
動き補正装置を提供することを目的とする。

［発明の構成］ （課題を解決するための手段） この発明は、移動量演算手段により、映像信号のフィ
ールド間又はフレーム間で垂直水平方向に対応する領域
の画素を用いて相関演算を行ない、該フィールド毎また
はフレーム毎に求めた各動きベクトル情報を求め、この
移動量演算手段から得られた各フィールド又はフレーム
毎の動きベクトル情報を用いて、動きベクトル補間手段
により該動きベクトル情報が表わす方向及び量が連続す
るように該動きベクトル情報の間に捕間動きベクトル情
報を内挿し、高速動きベクトル情報を発生する。そし
て、この動きベクトル補間手段からの高速動きベクトル
情報により、アドレス発生回路の出力アドレスを制御
し、前記映像信号を記憶しているメモリの読出しアドレ
スをフィールド周期又はフレーム周期よりも細かい周期
で修正することができるように構成したものである。

（作用） 上記の手段により、１フレーム又は１フィールド周期
で得られていた動きベクトル情報に対して補間動きベク
トル情報が追加され、この結果得られた高速動きベクト
ル情報により画像メモリの読出しアドレスを１フレーム
あるいは１フィールド内において高速修正することがで
き、実際のカメラ動きに追従した円滑な動き補正を得る
ことができる。

（実施例） 以下、この発明の実施例を図面を参照して説明する。

第１図はこの発明の一実施例である。入力端子10に
は、例えばインターレース方式のデジタル映像信号が供
給され、動きベクトル検出回路101と遅延回路105に供給
される。動きベクトル検出回路101は、フレーム間ある
いはフィールド間の画素の相関演算を行なうことによ
り、動きベクトル情報を得る。この動きベクトル情報の
検出原理は、第10図で説明したものと同じである。動き
ベクトル検出回路101からの各領域における動きベクト
ル情報は、移動量演算回路102に供給される。移動量演
算回路102は、１フレーム周期あるいは１フィールド周
期で、画面全体の移動方向及び量を示す動きベクトル情
報を得る。以下、この実施例では１フィールド周期で全
体画面の動きベクトル情報が得られているものとして説
明する（第２図、第４図参照）。

移動量演算回路102で得られたフィールド周期の全体
画面の動きベクトル情報は、動きベクトル補間回路103
に供給される。動きベクトル補間回路103は、第３図、
第４図で説明するような直線近似補間により、フィール
ド周期で得られる動きベクトル情報の間に例えば１ライ
ン周期で補間動きベクトル情報を生成して、両者を合成
して高速動きベクトル情報ｆ（VN）を出力する。

この様に得られた高速動きベクトル情報ｆ（VN）は、
アドレス発生回路104に供給され、読出しアドレスの位
置制御用として用いられる。

一方、遅延回路105は映像信号経路と、動きベクトル
処理経路との時間調整を得るためのもので、その出力
は、画像メモリ106に格納される。画像メモリ106の読出
しデータは、動き補正を実現する先のアドレス発生回路
104からアドレスに従って読み出され、画像補間回路107
に入力される。画像補間回路107は、動き補正が成さ
れ，全画面がシフトされたために生じた画面の端の信号
欠落部分を補間するものである。この補間方法として
は、欠落部分が有効画面の領域外になるように拡大画面
とする方法がある。

この実施例は、上記のように構成され、特に動きベク
トル補間回路103により、動きベクトル情報を補間して
１フィールド内であっても多数の動きベクトル情報を作
りこれにより画面動きを補正するために、実際のカメラ
移動に追従した滑らかな動き補正が得られる。

第２図は、実線で示すようなカメラ動きに対するフィ
ールド毎の動きベクトルを示している。この様に、１フ
ィールド毎に得られる動きベクトルを用いてそのまま動
き補正を行なったのでは、画像メモリ106の読みアドレ
スの変化も第２図に一点鎖線で示すようにフィールド間
で急激に変化する補正となり、実際のカメラ動きとは一
致しない。しかし、この実施例のように、補間動きベク
トル情報を生成して、高速動きベクトル情報ｆ（VN）を
得、これにより動き補正を行なうと、実際のカメラ動き
に近い点線で示すような補正を行なうことができる。

第３図は、動きベクトル補間回路103の具体的な例で
あり、第４図はその動作原理を説明するためのベクトル
説明図である。

この補正回路103は、ラッチ回路31,32及びこのラッチ
回路31,32の出力を加算する加算器33,この加算器33の出
力タイミングを司るラッチ回路34を有する。

まず動きベクトル補間回路103に対しては、演算回路
から以下のような情報が与えられる。即ち、ラッチ回路
31へ （Ｖ（＋１）−Ｖ（−１））/525 … ラッチ回路32へ V0−（Ｖ（＋１）−Ｖ（−１））/4 … が与えらえる。ここで V0 は中心位置（現フィールド）の動きベクトル情報 Ｖ（＋１） は、V0より１フィールド後の動きベクトル
情報 Ｖ（−１） は、V0より１フィールド前の動きベクトル
情報である。

従って、式における｛Ｖ（＋１）−Ｖ（−１）｝
は、フィールド間の動きの変化率を表わし、これを４で
除算することは第４図のように、Ｖ（＋１）からＶ（−
１）の間を４つに区分したときの変化率を表わすことに
なる。さらにこの変化率をV0から差引くことは、第４図
のベクトルVaを求めることに相当する。

一方、式は、フィールド間の動きベクトルの変化率
をライン数（525）で除算することが１ライン当りのベ
クトル変化率を表わす。

上記の式，の情報は、ラッチ回路31と32にそれぞ
れ、垂直ブランキング周期内にロードされる。これによ
り、第４図の動きベクトルVaがセットされたことにな
る。このとき、ラッチ回路34の出力は禁止され、ラッチ
回路32の出力、すなわちVaの値が出力端子35に導出され
る。次の水平ライン以降は、ラッチ回路32の出力は禁止
され、ラッチ回路34の出力が導出されるように、垂直ブ
ランキング期間内の水平パルスにより制御される。この
水平パルスは、端子36から与えられる。またラッチ回路
32に対してはインバータ37を介して与えられている。一
方、ラッチ回路34は、水平ラインの始まりを示す信号fH
により加算器33の出力を水平ラインの始まりごとにラッ
チする。したがって、ラッチ回路34の出力にはVaの値に
１水平ライン毎にラッチ回路31にロードされた値を加算
した値，即ち１ライン当りのベクトルの変化率を加算し
た値が出力され、高速動きベクトル情報として出力端子
35に導出する。この高速動きベクトル情報ｆ（VN）は、
第４図のベクトルVaからVbまでをライン毎に埋めたベク
トル情報となる。ベクトルVb以降は、上記と同様に、式
とより求めた新たな情報が、垂直ブランキング期間
にラッチ回路31と32にロードされる。このように、動き
ベクトル情報の補間を高い密度で得ることにより、第２
図に点線で示したような実際のカメラ動きに近い画像補
正を得ることができる。

上記のように、この実施例では、１フィールド内にお
いても多数の動きベクトル情報を得、実際のカメラ動き
や揺れに追従した滑らかな画像補正を得ることができ、
不自然な感じを解消することができる。

上記の説明では、高速動きベクトル情報は各ライン単
位での動きベクトル情報を持つものとして説明したが、
数ライン単位であっても良い。

また、上記の説明では、フィールド毎の動きベクトル
情報を用いて補間動きベクトル情報を生成したが、フレ
ーム毎の動きベクトル情報を用いても同じ考え方で実現
できる。しかし、より現実に近い正確な動きベクトル情
報を得るには、フィールド間の動きベクトル情報を用い
た方が好ましい。

ここで、インターレース方式の映像信号を用いてフィ
ールド毎の動きベクトル情報を得る動きベクトル検出回
路101について補足説明する。

第５図は動きベクトル検出回路101の構成例である。
インターレース方式の映像信号は、垂直補間回路11に供
給される。垂直補間回路11は、フィールド内の画素を用
いて内挿補間を行ない、垂直方向のライン間に補間画素
を作成し、その補間映像信号導出する。この補間映像信
号は、ラッチ回路12と相関器17に供給される。

ラッチ回路12は、補間映像信号の１フィールドが複数
に区分されている各領域の代表点の画像情報をラッチパ
ルスT1のタイミングでラッチする。この代表点の画像情
報は、転送パルスT2により代表点保存フィールドメモリ
13に転送され、その代表点について予め定められたアド
レスに保存される。

代表点保存フィールドメモリ13は、書込み／読出しモ
ード切換え信号W/Rにより制御され、そのアドレス入力
には、書込みモードのときはアドレスコントローラ14か
ら発生される書込みアドレスが、また読出しモードのと
きはアドレスコントローラ14から発生される読出しアド
レスがそれぞれアドレス切換え回路15を介して供給され
る。代表点保存フィールドメモリ13の代表点の画像情報
は、ラッチ回路16にラッチされ相関器17に供給される。

相関器17では、垂直補間回路11からの補間映像信号
と、ラッチ回路16にラッチされている代表点の画像情報
との相関演算を行なう。ここで、ラッチ回路16は、代表
的保存フィールドメモリ13からの各代表点の画像情報を
現フィールドの補間映像信号の各代表点抽出領域にそれ
ぞれ対応させて保持するようにラッチパルスT3により制
御される。

相関器17は、ラッチ回路16に保持している１フィール
ド前の代表点の画像情報と、この代表点画像情報の領域
に対応する現フィールドの領域内の各画素との相関演算
を行ない、累積加算器18に入力される各代表点の相関演
算結果を累積加算する。この累積加算結果は、動きベク
トル発生回路19に入力される。動きベクトル発生回路19
は、各方向を示す動きベクトルの加算結果の内、最も大
きい、つまり動きベクトルが最多数である加算結果を判
定し、その動きベクトルの方向を画面全体の平行移動方
向とする最終的な動きベクトル情報を出力部20に出力す
る。

単にインターレース方式の映像信号の奇数フィールド
のライン信号と偶数フィールドのライン信号との間で相
関演算を行なおうとしても、垂直方向の位置に対応する
ラインがないために、相関演算結果は不正確な動きベク
トル情報を示すが、この実施例のように、各フィールド
の補間信号を作成して相関演算を行なえば、フィールド
単位の動きベクトルを得ることができる。

次に、相関演算を行なった結果の動きベクトル情報を
用いて、画面全体の最終的な動きベクトル情報を決定す
る場合の原理についてさらに説明する。

第６図に示すように、１フィールドの映像信号をメモ
リ空間上で横方向にＭ分割して、縦方向にＮ分割し、
（Ｍ×Ｎ）個の領域に分割する。そして、各領域毎に基
準点となる画素（×印）を選択しこれを代表点とする。
この代表点の画素が、フィールド毎にどの方向へ、どれ
だけ移動したかを信号レベルの比較によって検出する
と、各領域毎に動きベクトルを得ることができる。次に
各領域毎に検出された動きベクトルのうち、最も数の多
い動きベクトルを、テレビジョン画面全体の動きベクト
ルとして判定するものである。この判定が第５図に示す
動きベクトル発生回路19で行われている。

次に、１領域における動きベクトルの検出原理につい
て説明する。

第７図に示すように、１つの領域（ｍ×ｎ）個の画素
を持つものとする。ここであるフィールドにおける代表
点の画素（ｐ）の輝度信号レベル（10）がメモリ13に記
憶されていたとする。そして次のフィードの全画素の輝
度信号レベルが、第７図（ｂ）に示すように11、12、1
3、…1mnであったとする。この場合、前フィールドの輝
度信号レベル10と、現フィールドの各画素の輝度信号レ
ベルとで次の演算が行われる。

10−11 10−12 10−13 10−1nm この結果、両信号レベルが等しく、演算結果が零であ
る画素が、例えば図の３か所の画素（a1,a2、a3）であ
ったとする。すると、この領域では、代表点（ｐ）と各
画素（a1,a2、a3）を結ぶ各ベクトルをそれぞれ動きベ
クトルb1、b2、b3として決定する。

このように１つの領域では、複数の動きベクトルが検
出され、画像全体の平行移動に関する動きベクトルは一
義的には決定できない。そこで、この実施例では、各領
域を通じて、同一方向及び同一大きさの動きベクトルの
数を加算し、この加算結果の総和が最も大きい値を形成
した動きベクトルの方向、及び大きさを画面全体の移動
方向及び動き量として決定するものである。つまり、各
領域を通じて、一番多く検出されたベクトルを最終的な
動きベクトルとして判定するようにしている。

上記の説明では、最初に動きベクトルを検出する場
合、領域の全てから検出するものとして説明したが、第
６図に示す領域のうち動き検出のために採用する領域
は、画像内容等により任意に外部から選択できるように
しても良い。この場合は、相関器17に与えられる演算タ
イミング信号をアドレスコントローラ14にて調整すれば
良い。このようにすると、動きを検出しにくい例えば真
白な壁を撮像している領域や、すみきった空を撮像して
いるような領域では、第７図で説明したような無駄な演
算を無くすことができる。

［発明の効果］ 以上説明したようにこの発明によれば、フィールド毎
あるいはフレーム毎に得られる動きベクトル情報から、
さらにその間を埋めるような補間動きベクトルを作り、
全体画像の動き補正をフィールド間隔あるいはフレーム
間隔よりも更に細かい間隔で動き補正を行なうことがで
き画像動きに対する円滑な補正を得ることができる。

【図面の簡単な説明】

第１図はこの発明の一実施例を示すブロック図、第２図
はこの発明の装置による動きベクトル補間の効果を説明
するために示した説明図、第３図は第１図の動きベクト
ル補間回路の具体例を示す回路図、第４図は第３図の回
路の動作原理を説明するために示した説明図、第５図は
第１図の動きベクトル検出回路及び移動量演算回路の具
体例を示す回路図、第６図及び第７図は相関演算を行な
う領域と動きベクトル決定経過を説明するために示した
説明図、第８図はカメラ撮像による全体画像の平行移動
を説明するための説明図、第９図は全体画像の平行移動
のベクトル説明図、第10図は、従来の相関演算による動
き検出方法を説明するために示した説明図である。 101……動きベクトル検出回路、102……移動量演算回
路、103……動きベクトル補間回路、104……アドレス発
生回路、106……画像メモリ、107……画像補間回路。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 安田 恒治 東京都渋谷区神南２丁目２番１号 日本 放送協会放送センター内 (72)発明者 福田 雅之 東京都渋谷区神南２丁目２番１号 日本 放送協会放送センター内 (72)発明者 川村 好英 神奈川県川崎市幸区小向東芝町１番地 株式会社東芝小向工場内 (72)発明者 阿部 稔 神奈川県川崎市幸区小向東芝町１番地 株式会社東芝小向工場内 (72)発明者 嶋田 秀幸 神奈川県川崎市幸区小向東芝町１番地 株式会社東芝小向工場内 (56)参考文献 特開 昭63−166370（ＪＰ，Ａ)

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】画像信号のフィールド間又はフレーム間で
   垂直及び水平方向に対応する領域の画素を用いて相関演
   算を行ない，該フィールド毎又はフレーム毎に各動きベ
   クトル情報を得る移動量演算手段と、 この移動量演算手段から得られた各フィールド又はフレ
   ーム毎の動きベクトル情報を用いて、該動きベクトル情
   報が表わす方向及び量が連続するように該動きベクトル
   情報の間に補間動きベクトル情報を内挿し高速動きベク
   トル情報を発生する動きベクトル補間手段とを具備した
   ことを特徴とする画像動き検出装置。
2. 【請求項２】映像信号のフィールド間又はフレーム間で
   垂直及び水平方向に対応する領域の画素を用いて相関演
   算を行ない、該フィールド毎またはフレーム毎に求めた
   各動きベクトル情報を求める移動量演算手段と、 この移動量演算手段から得られた各フィールド又はフレ
   ーム毎の動きベクトル情報を用いて、該動きベクトル情
   報が表わす方向及び量が連続するように該動きベクトル
   情報の間に補間動きベクトル情報を内挿し高速動きベク
   トル情報を発生する動きベクトル補間手段と、 この動きベクトル補間手段からの高速動きベクトル情報
   により、前記映像信号を記憶したメモリの読出しアドレ
   スをフィールド周期又はフレーム周期よりも細かい周期
   で修正することができるアドレス発生回路とを具備した
   ことを特徴とする画像動き補正装置。
3. 【請求項３】上記動きベクトル補間手段は、前記各フィ
   ールド又はフレーム毎の動きベクトル情報の連続する３
   つの動きベクトル情報のうち、時間的に最も早い時期に
   得られた第１の動きベクトル情報と、最も遅い時期に得
   られた第２の動きベクトル情報とを用いてこの動きベク
   トル情報間の変化率を得る手段と、 この手段から得られた変化率を用いて１ライン当りの第
   １のベクトル補正量を得る手段と、 前記変化率と，前記３つの動きベクトル情報のうち時間
   的に中間の位置で得られた第３の動きベクトル情報を用
   いて，垂直ブランキング位置に対応する第２のベクトル
   補正量を算出する手段と、 この手段から得られた題２のベクトル補正量に対して前
   記１ライン当りの変化量を示す第１のベクトル補正量を
   水平ブランキング期間に加算する手段とを具備したこと
   を特徴とする請求項２項記載の画像動き補正装置。