JPH03280681A

JPH03280681A - 動きベクトルを用いた動き内挿方法及び装置

Info

Publication number: JPH03280681A
Application number: JP2078731A
Authority: JP
Inventors: Tatsuro Yamauchi; 達郎山内
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1990-03-29
Filing date: 1990-03-29
Publication date: 1991-12-11
Anticipated expiration: 2015-03-13
Also published as: JP3018377B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】（産業上の利用分野）本発明は、動きベクトルを用いた動き内挿方式に関し、
特にディジタル化された信号において、動きベクトルを
検出し、その検出された動きベクトルを用いて動き補正
を行う動き内挿方式に関するものである。

（従来の技術）従来、動きベクトルを用いて動き補正を行う技術は、テ
レビジョン信号（ＴＶ信号）の高能率符帰化におけるフ
レーム間符号化効率を向上させる際や、ＴＶ方式変換に
おけるフィールド数の変換による動きの不連続性を軽減
する際に用いられている。

動きベクトルの検出方法には、ＴＶ信号をｍ画素×ｎラ
イン（ｍ、ｎは整数）のブロックに細分化した後、ブロ
ック毎に動きベクトルを検出する方法がある。この方法
としては、例えば特開昭５５−１６２６８３号公報、同
５５−１６２６８４号記載のパターンマツチング法や、
特開昭６０−１５８７８６号公報記載の反復勾配法等が
良く知られている。

動きベクトルを用いた動き内挿方式の例として、以下で
はＴＶ方式変換について説明する。

ＴＶ方式変換では、６０フイールド０５０フイールドの
相互変換が必要となり、この変換処理はフィールドメモ
リを用い、６フイールド４＋５フイールドの変換をフィ
ールド信号の繰り返し、飛び越しで行っている。このた
め、繰り返しや飛び越し点でフィールドの不連続が生じ
、これが動画の不連続となる。これを補正するため、一
般には２フイールドの信号の荷重加算（線形内挿）処理
を行っている。

第２図はこれを示したもので、１フィールド間離れたａ
、ｂの信号にフィールド内挿比α、　（１−α）を荷重
して内挿信号Ｃを得る。フィールド内挿比αは、ａ、ｂ
の信号とＣの信号の位置関係から決定される定数である
。

第３図は線形内挿を動画（円の移動）を例にして表した
ものであり、１フィールド間離れた信号Ａ、Ｂから内挿
信号Ｃを得ることを示す。図中、Ｃの斜線部の領域はフ
ィールド内挿比てレベルが変化するので、これがジャー
キネスの原因となる。

動きベクトルを用いた動き内挿方式は、このジャーキネ
スの発生を軽減するものであり、方法としては信号Ａ、
Ｂを用いて円の動きの大きさ、方向、すなわち動きベク
トル（Ｖ）を検出し、この値にフィールド内挿比を掛け
た値（ｄＶ）たけ動き物体を移動することで動き補正信
号りを得る。

動きベクトルがすべての動画の動きを１００％とらえる
ことは困難であり、場合によってはエラーも発生するこ
とがある。また、一般に動きベクトルを用いた補正は画
素以下、ライン以下は行わない場合があるので、実用の
動き補正は、２つの信号をそれぞれ動き補正し、その補
正された信号を更にフィールド内挿比で荷重加算してい
る。

第４図は従来のＴＶ方式変換装置における動き内挿ブロ
ック図である。

第４図において、１は現フイールド信号、２は前フイー
ルド信号、３は動きベクトル検出回路、６は適応動き内
挿切替制御回路、７は動きベクトル補正回路、８は動き
補正用メモリ、９は減算回路、１０は絶対値変換および
累算回路、１１は乗算回路、１２は加算回路、２５は動
きベクトル（αＶ）、３６は動きベクトル（Ｖ）　　２
６は動きベクトル（（１−α）Ｖ）　、２７はフィール
ド内挿比（１−α）、２８はフィールド内挿比α、２９
は動き補正フィールド間差分信号、３０は動きφフィー
ルド間差分信号、３１は動き補正フィールド内挿信号、
３２は線形内挿信号、３３は適応切替係数β、３４は適
応切替係数（１−β）、３５は動き内挿出力信号である
。

動きベクトル検出回路３は現フィールドの信号１、前フ
ィールドの信号２を用いて動きベクトルを検出する。動
きベクトルの検出は、ここでは初期偏位ベクトル方式と
反復勾配法を用いたものを説明する。詳細については、
１９８９年テレビジョン学会全国大会予稿集２０−５の
ｒＴＶ方式変換装置の動きベクトル検出と動きベクトル
内挿方式」。

島野他、ｐ５０１〜ｐ５０２を参照するものとし、以下
では簡単に説明する。

動きベクトル検出ブロックサイズは第５図に示すように
、８画素×８ラインを基準とし、初期偏位ベクトルの選
択、ＩＧＭ　（Ｉｎｔｅｒａｃｔｉｖｅ　Ｇｒａｄｉｅ
ｎｔＭｅｔｈｏｄ）の演算ブロックサイズは、それより
大きい２０画素×１６ライン（但し、１画素おき、１ラ
インおきとし１０画素×８ライン＝８０画素）である。

第６図は第４図における動きベクトル検出回路３のブロ
ック図である。

第６図において、１は現フィールドの信号、２は前フィ
ールドの信号、４１は動きベクトルメモリ回路、４２は
初期偏位ベクトル選択回路、４３は初期偏位ベクトルＶ
、　、　４４は勾配性演算回路、４５は偏位ベクトルＶ
、、４６は加算回路、４７は偏位ベクトルＶＱ、４８は
検出された動きベクトルＶ、４９は二次元ローパスフィ
ルタである。

現フィールドの信号１と前フィールドの信号２とを二次
元ローパスフィルタ４９にてノイズの除去と高域成分の
低減を行う。フィルタ出力信号は初期偏位ベクトル選択
用のメモリと勾配法の演算用メモリに記憶される。

初期偏位ベクトルの選択は、第７図に示すように現フィ
ールドの既検出動きベクトルから３ベクトル、前フィー
ルドの既検出動きベクトルから２ベクトル、前フィール
ドの平均ベクトルから前々フィールドの平均ベクトルを
引いた値（即ち、加速度ベクトル）の６種類の動きベク
トルから最適なベクトルを初期偏位ベクトルとして選択
する。

選択方法はそれぞれの動きベクトルの大きさ分だけ座標
を偏位したフィールド間のブロックでのフィールド間の
差分値を画素毎に算出し、これの絶対値の累計が最小値
となるブロックの動きベクトルを初期偏位ベクトルとす
る。

ここで、勾配法の演算回数は２回である。勾配法の演算
は現フィールドの被検出ブロックと前フィールドで初期
偏位ベクトル分座標を偏位したブロックとで式（１）〜
（４）に示す演算を行う。

Ｖ、　＝ΣＳＧＮΔＸ　−１）ＦＤ　／Σｌ　ΔＸ　Ｉ
−（１）Ｖｙ：ΣＳＧＮΔＹ　−ＤＦＤ　／Σｌ　ΔＹ
　１−（２）ΔＸ＝　（Ａ、、、、、−Ａｎ−８，、）
　／２−（３）ΔＹ＝　（Ａ、、、、１−Ａｎ、、−１
）　／２−（４）ただし、ＶＸは動きベクトルＶのＸ方
向成分、Ｖｙは動きベクトルＶのＸ方向成分、Ａ　ｎ　
＋　１ｍｌはｎ画素２ｍラインの座標の信号、ΔＸは画
像のＸ方向の勾配、ΔＹは画像のＸ方向の勾配、Ｉ）Ｆ
Ｄはフィールド間差分値を示す。また、ＳＧＮΔＸ、　
ＳＧＮΔＹのＳＧＮは＋、−０の符号を示す。

求める動きベクトルＶは初期偏位ベクトルなＶ、、Ａの
勾配性演算結果なＶ、、Ｂの勾配性演算結果なＶｑとす
ると、Ｖ＝Ｖ、＋Ｖｐ＋Ｖｑ　　−（５）となる。

検出された動きベクトル３６は動きベクトル補正回路７
と適応動き内挿切替制御回路６へ入力される。動きベク
トル補正回路７は、動きベクトルをフィールド内挿比α
で補正したものであり、その出力はαｖ、（１−α）■
となる。動き補正用メモリ８はαｖ、（１−α）■だけ
座標を偏位した内挿ブロック信号を出力する。このメモ
リ出力信号は減算回路９と絶対値変換及び累算回路１０
により内挿ブロック毎の動き補正フィールド間差分信号
２９を出力し、適応動き内挿切替制御回路６へ入力する
。動き補正用メモリ８の出力信号はまた乗算回路１１で
フィールド内挿比が荷重され、加算回路１２を経て、動
き補正フィールド内挿信号３１を得る。

現フイールド信号１．前フイールド信号２は、減算回路
９．絶対値変換及び累算回路１０を経て、内挿ブロック
毎の動きφフィールド間差分信号３０を出力し、適応動
き内挿切替制御回路６の入力となる。また、これらの信
号は乗算回路１１でフィールド内挿比が荷重され、加算
回路１２を経て、動きφフィールド内挿信号、すなわち
、線形内挿信号３２を形成する。

動き補正フィールド内挿信号３１と線形内挿信号３２は
、適応動き内挿切替制御回路６の出力である適応内挿切
替係数β、（１−β）を用いて乗算回路１１、加算回路
１２により荷重加算され、動き内挿出力信号３５となる
。

適応動き内挿切替制御回路６は、動き内挿信号として、
動き補正フィールド内挿信号を出力させるか、または線
形内挿信号を出力させるが、または両者の荷重加算を出
力するかを判定する回路であり、動きベクトルの大きさ
、動き補正フィールド間差分値、動きφフィールド間差
分値をパラメータとして、内挿ブロック単位に制御信号
を出力する。

なお、関連する特許の例としては、本出願人により動き
内挿方式によるテレビジョン標準方式変換装置を提案し
ている（特開平１−３０９５９７号公報を参照）。

（発明が解決しようとする課題）上記反復勾配法（ＩＧＭ　）を用いた動きベクトル検出
方式では、動きベクトルの検出精度を向上させるには検
出のブロックサイズが大きい方が良いが、ブロックサイ
ズを大きくすると検出感度が劣化することが知られてい
る。そのため、ブロックサイズは種々のコンピュータシ
ミュレーションの結果、前述したように基本ブロックサ
イズは８画素×８ラインとし、動きベクトル検出のブロ
ックサイズは２０画素Ｘ１６ラインとしている。通常の
ＴＶ両画像とこのブロックサイズでほとんど問題はない
が、近々発達したコンピュータグラフィックからの信号
や、高速度シャッタを有したＣＣＤ　ＴＶ左カメラらの
信号であると、時間方向のフィルタリングが少ないので
動画像が鮮明となり、フィールド相関も小さくなってい
る。

このため、動き物体の大きさが動き検出ブロックサイズ
に比べて小さく、動きの大きさが動き検出ブロックサイ
ズに比べて大きい場合、小物体の動きベクトルの検出は
、困難となる場合がある。

背景の静止画がレベルの平坦な画像であればまた動きベ
クトルの検出は可能となるが、背景の静止画のレベルが
平坦でない場合、動きベクトルは面積比の大きい背景静
止画をとるので動きベクトルは“０パとなる。

動き物体はＴＶ画像全体からの見えが小さければ、この
動きの歪みは視覚上気にならないが、第８図のような細
かい縦線が速度Ｖで移動し、背景の静止画のレベルが平
坦な領域Ａから背景の静止画のレベルが平坦でない領域
Ｂに移動した場合、縦線は領域Ａでは動きベクトルは■
となるが、領域Ｂでは動きベクトルはＯとなる。したか
って、動き内挿画像は、領域Ａでは動きベクトルＶで補
正された画像となるが、領域Ｂでは動き０なので、線形
内挿と同じになり、第９図に示すような画像歪みを生じ
るという問題がある。

本発明の目的は、このような従来の問題を解決し、動き
物体の大きさが動きベクトルの検出ブロックサイズと比
較して小さい時に生じる動き内挿画像の歪みを軽減可能
な動きベクトルを用いた動き内挿方式を提供することに
ある。

（課題を解決するための手段）上記目的を達成するため、本発明の動きベクトルを用い
た動き内挿方式は、ディジタル化したテレビジョン信号
をｍ画素×ｎライン（ｍ、ｎは整数）のブロックに細分
化し、ブロック毎に１フィールド以上離れた信号間で動
きベクトルを検出し、該検出した動きベクトルを用いて
動き補正したフィールド内挿信号と動きφのフィールド
内挿信号とを、動きベクトル検出ブロックサイズ以下の
大きさの内挿ブロック単位または画素単位で適応的に切
り替えを含む荷重加算を行う動き内挿方式において、被内挿ブロックまたは被内挿画素が所定の条件を満足す
る時は動きベクトルが検出されていないと判定し、上記
被内挿ブロックまたは被内挿画素の周辺の動きベクトル
の大きさが閾値Ｂ（Ｂは０を含む整数）以上の動きベク
トルを平均したものを上記被内挿ブロックまたは被内挿
画素の動きベクトルとして動き補正フィールド内挿信号
を得、該得られた動き補正フィールド内挿信号と上記動
きφのフィールド内挿信号とを適応的に切り替えを含む
荷重加算を行うことにより、動きベクトルが検出されな
い信号の動きを補正することに特徴がある。

上記動きベクトルを用いた動き内挿方式において、上記
所定の条件は、動きベクトルの大きさが閾値Ａ（ＡはＯ
を含む整数）以下であり、被内挿ブロックまたは被内挿
画素の画像勾配が閾値Ｃ（Ｃは整数）以上であることに
特徴かある。

（作用）本発明においては、被内挿ブロックまたは被内挿画素か
所定の条件を満足するときは動きベクトルが検出されて
いないと判定し、上記被内挿ブロックまたは被内挿画素
の周辺の動きベクトルの大きさが閾値Ｂ（Ｂは０を含む
整数）以上の動きベクトルを平均したものを上記被内挿
ブロックまたは被内挿画素の動きベクトルとして動き補
正フィールド内挿信号を得、該得られた動き補正フィー
ルド内挿信号と上記動きφのフィールド内挿信号とを適
応的に切り替えを含む荷重加算を行なうことにより、動
きベクトルが検出されない信号の動きを補正する。ここ
て、上記所定の条件は、動きベクトルの大きさが閾値Ａ
（Ａは０を含む整数）以下であり、被内挿ブロックまた
は被内挿画素の画像勾配が閾値Ｃ（Ｃは整数）以上であ
る。

（実施例〕以下、本発明の実施例を、図面により詳細に説明する。

本実施例では、ＴＶ方式変換装置における動きベクトル
を用いた動き内挿方式について説明する。

第１図は、本発明の一実施例を示すＴＶ方式変換装置に
おける動き内挿部のブロック図である。

第１図において、１は現フイールド信号、２は前フイー
ルド信号、３は動きベクトル検出回路、４は平均ベクト
ル演算回路、５は動きベクトル選択回路、６は適応動き
内挿切替制御回路、７は動きベクトル補正回路、８は動
き補正用メモリ、９は減算回路、１０は絶対値変換およ
び累算回路、１１は乗算回路、１２は加算回路、２１は
動き検出信号、２２は画素勾配判定信号、２３は動きベ
クトル、２４は平均動きベクトル、２５は動きベクトル
（αＶ）、３６は動きベクトル（Ｖ）、２６は動きベク
トル（（１α）Ｖ）、２７はフィールド内挿比（１−α
）、２８はフィールド内挿比α、２９は動き補正フィー
ルド間差分信号、３０は動きφフィールド間差分信号、
３１は動き補正フィールド内挿信号、３２は線形内挿信
号、３３は適応切替係数（β）、３４は適応切り替え係
数（１−β）、３５は動き内挿出力信号である。

動きベクトル検出回路３は現フイールド信号１、前フイ
ールド信号２を用いて動きベクトルの検出を行なう。動
きベクトルの検出方法は、従来の技術で述べた初期偏位
ベクトルを用いた反復勾配法とした。検出した動きベク
トルは平均ベクトル演算回路４と、動きベクトル選択回
路５へ入力される。平均ベクトル演算回路４では動きベ
クトルの大きさが閾値８以上のものを取り込み、１フィ
ールド間の動きベクトルを平均化する。たたし、閾値８
以上の動きベクトルとなるブロックの数が閾値り以下の
時は平均ベクトルはＯとする。

従って、この平均ベクトル演算回路４の出力信号は１フ
ィールド間において一種の動きベクトルとなる。これを
平均動きベクトル２４とする。動きベクトル検出回路３
ては、ブロック毎の動きベクトル２３を出力するだけで
なく、反復勾配法て用いた画像勾配の総和Σ△Ｘ、Σ△
Ｙよりその大きさが閾値Ｃ以上の時レベル“１”の信号
を動きベクトル選択回路５へ送出する。この信号を画素
勾配判定信号２２と称す。この信号が１”の時は画像が
平坦でないことを示す。

動きベクトル選択回路５では、ブロック毎に検出された
動きベクトル２３と平均動きベクトル２４の選択を行な
う。選択条件は次に示す。なお、この選択は動き内挿ブ
ロック単位（４画素×２ライン）で行なうが、画素単位
でも可能である。

（１）画素勾配判定信号２２がレベル“１”であること
。

（２）画素毎に検出した動き検出信号２１が内挿ブロッ
ク内で動きと判定する画素が多いこと。この動き検出信
号はこのブロック図中にはないか、動き内挿前段のライ
ン内挿処理時に用いた動き検出信号を流用したものであ
る。

（３）ブロック毎に検出した動きベクトル２３が閾値り
以下であること（ＣはＯに近い値）。

これら３条件を満足したとき、平均動きベクトルを送出
し、それ以外はブロック毎に検出された動きベクトル２
３を送出する。

上記（１）の条件により画像が平坦でないこと、上記（
２）の条件により動画であること、上記（３）の条件て
検出した動きベクトルが０に近いこと、となり結局、画
像か平坦てなく、動画であるが、検出した動きベクトル
かほとんど０の場合は動きベクトルが検出されない領域
と判定し、平均動きベクトルを適用することになる。

選択された動きベクトル３６は動きベクトル補正回路７
と適応動き内挿切替制御回路６へ入力される。動きベク
トル補正回路７は、動きベクトルをフィールド内挿比α
で補正したものであり、その出力はαＶ、（１−ａ）Ｖ
となる。動き補正用メモリ８はαＶ、（１−ａ）Ｖたけ
座標を偏位した内挿ブロック信号を出力する。このメモ
リ出力信号は減算回路９と絶対値変換および累算回路１
０により内挿ブロック毎の動き補正フィールド間差分信
号２９を出力し、適応動き内挿切替制御回路６へ入力す
る。動き補正用メモリ８の出力信号はまた乗算回路１１
てフィールド内挿比が荷重され、加算回路１２を経て、
動き補正フィールド内挿信号３１を得る。

現フイールド信号１．前フイールド信号２は、減算回路
９．絶対値変換および累算回路１０を経て、内挿ブロッ
ク毎の動きφフィールド間差分信号３０を出力し、適応
動き内挿切替制御回路６の入力となる。また、これらの
信号は乗算回路１１でフィールド内挿比が荷重され、加
算回路１２を経て、動きφフィールド内挿信号、すなわ
ち、線形内挿信号３２を形成する。

適応動き内挿切替制御回路６は、動き内挿信号として、
動き補正フィールド内挿信号を出力させるか、または線
形内挿信号を出力させるか、または両者の荷重加算を出
力するかを判定する回路であり、動きベクトルの大きさ
、動き補正フィールド間差分値、動きφフィールド間差
分値をパラメータとして、内挿ブロック単位に制御信号
を出力する。

上記本実施例では、内挿は内挿ブロック毎（４画素×２
ライン）に行なう例を示したが、これを画素毎に処理し
ても同様な効果が期待できる。たたし、画素毎に内挿処
理を行なう場合、ノイズによる内挿エラーなどを新たに
考慮する必要がある。

また、上記実施例では、フィールド内挿の補正例につい
て説明したが、フレーム内挿の補正についても同様に本
実施例を適用できる。

さらに、上記本実施例は特にＴＶ方式変換装置に関して
説明しているが、動きベクトルを用いて動き補正を行な
う他の装置にも充分適用可能である。この例としては、
高能率符号化方式として送信側でフィールド、の間引き
を行ない、受信側て動きベクトルを用いて間引かれたフ
ィールドを再生する場合にも適用できる。また、近年急
速に進歩している高品質ＴＶ（ハイビジョン）にも動き
ベクトル検出と動き内挿を行っている方式もあるので、
これにも適用できる。

（発明の効果）以上説明したように、本発明によれば、従来動きベクト
ルの検出が不可能な動画領域においても動き補正が適用
てきるのて、画像歪みの軽減された画像を得ることがで
きる。

【図面の簡単な説明】

第１図は本発明の実施例を示すＴＶ方式変換装置におけ
る動き内挿ブロック図、第２図は従来の線形内挿処理を示す図、第３図は従来の
線形内挿と動き補正内挿を示す図、第４図は従来のＴＶ方式変換装置における動き内挿ブロ
ック図、第５図は動きベクトル検出ブロックサイズを示す図、第６図は従来の動きベクトル検出ブロック図、第７図は
初期偏位ベクトル選択用の動きベクトルを示す図、第８図は細い縦線の動きを示す図、第９図は動き内挿後の縦線を示す図である。１・・・現フイールド信号、２・・・前フイールド信号、３・・・動きベクトル検出回路、４・・・平均ベクトル演算回路、５・・・動きベクトル選択回路、６・・・適応動き内挿切替制御回路、７・・・動きベクトル補正回路、８・・・動き補正用メモリ、９・・・減算回路、１０・・・絶対値変換及び累算回路、１１・・・乗算回路、　　　１２・・・加算回路、２１
・・・動き検出信号、　２２・・・画素勾配判定信号、
２３・・・動きベクトル、　２４・・・平均動きベクト
ル、２５・・・動きベクトル（Ｖ）、２６・・・動きベクトル（（１−〇）Ｖ）、２７・・・
フィールド内挿比（１−α）、２８・・・フィールド内
挿比（α）、２９・・・動き補正フィールド間差分信号、３０・・・
動きφフィールド間差分信号、３１・・・動き補正フィ
ールド内挿信号、３２・・・線形内挿信号、　３３・・
・適応切替係数（β）、３４・・・適応切替係数（１−
β）、３５・・・動き内挿出力信号。

Claims

【特許請求の範囲】

（１）ディジタル化したテレビジョン信号をｍ画素×ｎ
ライン（ｍ、ｎは整数）のブロックに細分化し、ブロッ
ク毎に１フィールド以上離れた信号間で動きベクトルを
検出し、該検出した動きベクトルを用いて動き補正した
フィールド内挿信号と動きφのフィールド内挿信号とを
、動きベクトル検出ブロックサイズ以下の大きさの内挿
ブロック単位または画素単位で適応的に切り替えを含む
荷重加算を行う動き内挿方式において、被内挿ブロックまたは被内挿画素が所定の条件を満足す
る時は動きベクトルが検出されていないと判定し、上記
被内挿ブロックまたは被内挿画素の周辺の動きベクトル
の大きさが閾値Ｂ（Ｂは０を含む整数）以上の動きベク
トルを平均したものを上記被内挿ブロックまたは被内挿
画素の動きベクトルとして動き補正フィールド内挿信号
を得、該得られた動き補正フィールド内挿信号と上記動
きφのフィールド内挿信号とを適応的に切り替えを含む
荷重加算を行うことにより、動きベクトルが検出されな
い信号の動きを補正することを特徴とする動きベクトル
を用いた動き内挿方式。
（２）上記所定の条件は、動きベクトルの大きさが閾値
Ａ（Ａは０を含む整数）以下であり、被内挿ブロックま
たは被内挿画素の画像勾配が閾値Ｃ（Ｃは整数）以上で
あることを特徴とする請求項１記載の動きベクトルを用
いた動き内挿方式。