JPH0722394B2

JPH0722394B2 - 動き補正方法

Info

Publication number: JPH0722394B2
Application number: JP61071226A
Authority: JP
Inventors: 俊郎大村; 豊田中; 泰市郎栗田; 佑一二宮; 台次西澤
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 1986-03-31
Filing date: 1986-03-31
Publication date: 1995-03-08
Anticipated expiration: 2010-03-08
Also published as: JPS62230179A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、動画像信号の動き補正方法に係り、特に高能
率帯域圧縮・方式変換などの画像処理時において用いら
れる動き補正方法に関するものである。

〔開示の概要〕

帯域圧縮装置や方式変換装置などにおいて、動き補正を
行うに際し、画面を分割した各ブロックにおいて検出し
た動きベクトルの中から予め定められた規則に従って少
数の候補ベクトルを選択し、その候補ベクトルを最適動
きベクトル選択回路に加えることにより、ハードウェア
の規模を拡大することなく、良好な動き補正を可能とす
るものである。

〔従来の技術〕

第８図に示すブロック図は、従来技術による装置とし
て、動き補正型フレーム数変換を行う方式変換装置の一
例を示すものである。ここで、１は動きベクトル検出
部、６は線型内挿部、７は出力画像選択部、８〜11は動
き補正型内挿部、12は最適動きベクトル判定部、13およ
び14は切換スイッチを表す。

第９図は、従来技術による動き補正型方式変換装置にお
ける動きベクトル検出ブロックを示す図である。

次に、第９図を参照して第８図の概略動作を説明する。

線型内挿部６では、連続する２フレーム信号の加重平均
により、線型内挿出力15を得る。また、動きベクトル検
出部１では、いわゆるパターンマッチング法によって第
９図に示すように画面を４分割し、各ブロックにおける
動きベクトルV₁,V₂,V₃,V₄を検出する。動き補正型内挿
部８〜11では、それぞれ動きベクトルV₁,V₂,V₃,V₄を用
いて位置内挿を行い、動き補正型内挿出力16〜19を得
る。最適動きベクトル判定部12では、いわゆるフレーム
差最小法により動き補正型内挿出力16〜19の中から最も
良好な動き補正結果を与えるものを判定し、第１スイッ
チ14を切り換えて動き補正出力20を得る。出力画像選択
部７では同様に線型内挿出力15と動き補正出力20のう
ち、適切な内挿結果を与えるものを判定し、第２スイッ
チ13を切り換えて変換出力21を得る。

このように、従来の技術としては、画面内で検出したす
べての動きベクトルを候補ベクトルとして用い、その中
から最適動きベクトルを選択する動き補正方式が使われ
ていた。

第８図に示した従来の方式変換装置において、同時に補
正の行える動きベクトルの種類は４種類である。従っ
て、１つの画面内に５種類以上の異なる動きベクトルを
持つ領域が混在していると、良好な変換出力が得られな
い。

かかる問題を解決するため、更に多種類の動きベクトル
を用いて動き補正を行おうとすると、動き補正型内挿部
の増設を要するのみならず、最適動きベクトル判定部の
規模が増大するため、実現が困難であった。

〔発明が解決しようとする問題点〕

第10図は、従来技術による動き補正方式について示すブ
ロック図、第11図は一般的な動きベクトル検出ブロック
を示す図である。

第10図に示す動きベクトル検出部１では、パターンマッ
チング法などの従来技術を用いて第11図に示すように画
面をＮ＝ｉ×ｊ個に分割し、これら各ブロックにおいて
動きベクトルを検出する。最適動きベクトル選択部４
は、第８図に示した動き補正型内挿部８〜11、並びに最
適動きベクトル判定部12に相当するものであり、検出さ
れたＮ個の動きベクトル全てを候補ベクトルとして、最
適な動き補正結果を与える動きベクトルを選択する。

このような従来の動き補正方法では、以下の理由によ
り、画面の分割数Ｎを大きくすることは困難である。

（１）最適動きベクトル選択部４のハードウェア規模
が増大する。すなわち、分割数Ｎの増大に伴ない、第８
図に示した動き補正型内挿部８〜11の増加、並びに、最
適動きベクトル判定部12の回路規模増大を招く。

（２）画像の輪郭成分が少ないなどの理由で動きベク
トルの検出精度が低下している際にも、当該ブロックの
動きベクトル（無意ベクトル）を候補ベクトルとして取
り扱っているため、最適動きベクトルを誤選択する確率
が増大する。

一方、画面の分割数Ｎが小さいときには、以下の理由に
より、良好な動き補正が行えない。

（１）１つの画面にＭ種類の動きベクトルを持つ領域
が混在している場合、Ｍ＞Ｎであると、（Ｍ−Ｎ）種類
の動きについては動き補正が行えない。Ｎが小さいほど
Ｍ＞Ｎとなる確率が高くなる。

（２）Ｎが小さく、従って各ブロックのサイズが大き
いと、１つのブロック内に複数の異なる動きを持つ領域
が混在する確率が高くなり、正確な動きベクトルが検出
できなくなる。

（３）動き領域が小面積である場合、各ブロックのサ
イズが大きいと、ブロック内で動き領域が占める面積比
率が低下して、映像信号に含まれるノイズの影響を受け
易くなり、動きベクトルの誤検出を生じる確率が高くな
る。

〔発明の目的〕

よって本発明の目的は、上述の点に鑑み、ハードウェア
の規模を拡大することなく、良好な動き補正を可能とす
る動き補正方法を提供することにある。

〔問題点を解決するための手段〕

本発明に係る動き補正方法は、画面をＮ個のブロックに
分割し、前記各ブロック内で検出した複数の動きベクト
ルの中から最適ベクトルを選択するに際して（第８図〜
第11図に示した従来技術を前提とする）、予め設定され
ている複数の見本ベクトルのそれぞれについて、所定の
各代表点に関するフレーム差加算値を求め（第２図の2
2,23,24,25,26に相当する）、前記フレーム差加算値の
うち、最小値を与える見本ベクトルを前記各ブロックに
おける動きベクトルとして判定する（第２図の27,第３
図，第４図に相当する）と共に、当該動きベクトルが有
する前記フレーム差加算値と、各見本ベクトルが有する
フレーム差加算値の平均値とにより決定される分散値に
基づいて、当該動きベクトルが有意ベクトルであるか否
かを判定し（第２図の28,29に相当する）、特定の着目
ブロック（第７図の（Ａ）に示した斜線に相当する）と
の距離を基礎として予め設定されている前記各ブロック
の優先順位（第７図の（Ｃ）に相当する）と、Ｎ個の前
記動きベクトルのうち有意ベクトルであると判定された
Ｎ′個（Ｎ′≦Ｎ）の動きベクトルとに基づいて、Ｐ個
（Ｐ＜Ｎ）の動きベクトルを候補ベクトル（第７図にお
いては、Ｎ＝16,P＝５に相当する）として選択し（第７
図の（Ｄ）に相当する）、前記候補ベクトルの中から最
適な動き補正を与える動きベクトルを検出して前記最適
ベクトルとすることにより、入力された動画像信号に動
き補正処理を施す（第10図に示した従来技術と同じ）こ
とを特徴とするものである。

〔実施例〕

次に、実施例に基づいて本発明を詳細に説明する。

第１図は、本発明に係る動き補正方法を実施するための
基本的構成を示すブロック図である。本図と第10図（従
来方式）との差異は、動きベクトル検出部１と最適動き
ベクトル選択部４との間に、有意ベクトル判定部２およ
び優先順位判定部３を新たに設けた点に存する。

ここで、動きベクトル検出部１は、従来から知られてい
るパターンマッチング法などを用いて第11図示の各ブロ
ックに対応したＮ個の動きベクトルを検出する。有意ベ
クトル判定部２では、映像信号の輪郭成分が少ないなど
の理由により動きベクトルの検出精度が低下しているブ
ロックの動きベクトル（無意ベクトル）を除外し、Ｎ′
個（Ｎ′≦Ｎ）の動きベクトル（有意ベクトル）を得
る。

第２図は、上述した動きベクトル検出部１および有意ベ
クトル判定部２の詳細な構成例を示すブロック図であ
る。本図中、22はフレームメモリ、23は代表点設定部、
24は減算部、25は絶対値検出部、26はフレーム差加算
部、27は最小値検出部、28は分散算出部、29は判定部、
30は平均値算出部を示す。

これら各構成要素の動作は次のとおりである。

代表点設定部23では、前フレームの画像のうち、動きベ
クトル検出に用いる画素（代表点）を設定する。また、
見本ベクトルと呼ばれる、採り得る可能性のある有限個
のベクトルを設定する。

そして、減算部24では各代表点につき、この代表点の位
置を見本ベクトルでオフセットした点の現フレームの画
素と代表点とのフレーム差を計算する。

次に、絶対値検出部25を介して減算部24の出力を絶対値
変換し、その後、各見本ベクトルにつき、各代表点で計
算されたフレーム差信号をフレーム差加算部26において
加算する。

最小値検出部27では、フレーム差加算部26から得られた
フレーム差加算値の最小値（ａ）を求める。ここで、最
小値を与える見本ベクトルが動きベクトルである。

平均値算出部30では、上述したフレーム差加算値の見本
ベクトルに関する平均値（ｂ）を算出する。

分散算出部28では、分散σをσ＝b/（ｂ−ａ）として算
出する。

判定部29では、この分散σの値がしきい値σ_Ｔを超えな
いとき、検出された動きベクトルを“有意”と判定す
る。

第３図は有意ベクトルの判定に用いるフレーム差加算値
の分布を示す線図であり、第２図に関して述べた最小値
a,平均値ｂとフレーム差加算値との関係を示している。
本図において、横軸は見本ベクトルの種類を示し、縦軸
はそれぞれの見本ベクトルに対するフレーム差加算値を
示す。そして、最小値ａを与える見本ベクトルV_Mが、求
めるべき動きベクトルである。

第４図（Ａ），（Ｂ）は第３図と同じく、有意ベクトル
の判定に用いるフレーム差加算値の分布を示す線図であ
る。ここで、有意と判定される場合のフレーム差加算値
の分布例を第４図（Ａ）に、また無意と判定される場合
の分布例を第４図（Ｂ）に示す。本図から明らかなよう
に、輪郭成分の少ない画像では第４図（Ｂ）に示すよう
な分布となり、ノイズによる擾乱を受けて正しい動きベ
クトルの検出確率が低下する。

再び第１図に戻り、これを説明する。

優先順位判定部３は本発明を実施するための特有な回路
であり、第11図に示した各ブロック毎に予め定められた
優先順位表に従って、Ｎ′個の有意ベクトルの中から上
位の優先順位を持つＰ個（Ｐ＜Ｎ）の動きベクトル（候
補ベクトル）を選抜する機能を果たす。

優先順位を設定する手順の一例を以下に示す。

（１）着目するブロックの中心位置と、任意のブロッ
クの中心位置との空間距離（ｌ）が小さいブロックに高
い優先順位を与える。

（２）上述した空間距離ｌの値が同一であるブロック
相互の優先順位は任意とする。

また、上記設定手順と異なる手順によって定めた優先順
位表を含む２種類以上の優先順位表を準備しておき、入
力画像の種類に応じてその内の１つを選択して使用する
ことも可能である。

第５図および第６図は、第１図に示した優先順位判定部
３のより詳細な構成ブロック図である。

第５図に示す構成では、３種類の優先順位表がリードオ
ンリーメモリ（ROM）32〜34に予め記憶されている。そ
して、これらROMのアドレス選択バス35に対し有意ベク
トルの種類並びに着目ブロックの位置を表すデータを入
力することにより、候補ベクトルの種類を出力データ36
として取り出す。このとき、優先順位表の種類の選択を
行うため、スイッチ37を切り換えてROM32〜34のいずれ
かを選択している。

第６図に示す構成では、有意ベクトル並びに着目ブロッ
クの位置を表すデータ38と、使用する優先順位表の種類
を示すデータ39とをインタフェース回路40を介してマイ
クロプロセッサ41に入力している。このマイクロプロセ
ッサ41は、入力されたデータとメモリ42内に記憶されて
いる優先順位表とを参照し、候補ベクトルの種類を表す
信号44をインタフェース回路43を介して出力する。

第１図に示す最適動きベクトル選択部４では、フレーム
差最小法など従来の技術を用いて、Ｐ個の候補ベクトル
の中から、最良の動き補正結果を与える動きベクトル
（最適動きベクトル）を選択する。

更に、動き補正部５では、上記最適動きベクトルを用い
て動き補正を行う。

第７図（Ａ）〜（Ｄ）は、本実施例の具体的な動作例を
示す図である。本図は、ｉ＝4,j＝4,N＝ｉ×ｊ＝16,P＝
５の場合を示す。

ここで、第７図（Ａ）は各ブロックで検出した動きベク
トルを示す。

第７図（Ｂ）は有意ベクトル判定の結果を示す。同図に
おいて、判定結果“＋”は有意ベクトルを、また、判定
結果“−”は無意ベクトルを示す。

第７図（Ｃ）は、第７図（Ａ）において斜線で示したブ
ロック（着目ブロック）の優先順位表を示す。

第７図（Ｄ）は、第７図（Ｃ）に示した優先順位表の
内、第７図（Ｂ）において有意ベクトルであると判定さ
れた動きベクトルの欄のみを抜き出したものである。こ
のとき、着目ブロックの動き補正に際し、最適動きベク
トル選択部４（第１図参照）に与えられる候補ベクトル
は、第７図（Ｄ）の中から優先順位の高い動きベクトル
をＰ個（５個）選択することにより、V₂₂,V₂₁,V₃₁,V₁₃,
V₄₂となる。

〔発明の効果〕

本発明を実施することにより、以下の点について改善が
得られ、良好な画質の動き補正が可能となる。

（１）無意ベクトルが最適動きベクトル選択部に導入
されないため、誤選択の発生確率が低下する。

（２）着目ブロック近傍のブロックに有意ベクトルが
ない場合は、着目ブロックから一層隔たったブロックの
有意ベクトルを候補ベクトルとするので、ハードウェア
の規模を増大することなく、等価的に多数のブロックの
動きベクトルを候補ベクトルとすることが可能である。

【図面の簡単な説明】

第１図は本発明に係る動き補正方法の基本的構成を示す
ブロック図、第２図は動きベクトル検出部および有意ベクトル判定部
の詳細構成を示すブロック図、第３図および第４図（Ａ），（Ｂ）は有意ベクトルの判
定に用いるフレーム差加算値の分布を示す線図、第５図および第６図は優先順位判定部の詳細構成を示す
ブロック図、第７図（Ａ）〜（Ｄ）は本実施例の具体的動作例を示す
図、第８図は従来技術を用いた動き補正型方式変換装置の構
成を示すブロック図、第９図は従来技術を用いた動き補正型方式変換装置にお
ける動きベクトル検出ブロックを示す図、第10図は従来技術による動き補正方式を示すブロック構
成図、第11図は動きベクトル検出ブロックを示す図である。１……動きベクトル検出部、２……有意ベクトル判定部、３……優先順位判定部、４……最適動きベクトル選択部、５……動き補正部、 22……フレームメモリ、 23……代表点設定部、 24……減算部、 25……絶対値検出部、 26……フレーム差加算部、 27……最小値検出部、 28……分散算出部、 29……判定部、 30……平均値算出部、 32〜34……ROM、 40,43……インタフェース回路、 41……マイクロプロセッサ、 42……メモリ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者二宮佑一東京都世田谷区砧１丁目10番11号日本放送協会放送技術研究所内 (72)発明者西澤台次東京都世田谷区砧１丁目10番11号日本放送協会放送技術研究所内 (56)参考文献特開昭60−28392（ＪＰ，Ａ)

Claims

【特許請求の範囲】

【請求項１】画面をＮ個のブロックに分割し、前記各ブ
ロック内で検出した複数の動きベクトルの中から最適ベ
クトルを選択するに際して、予め設定されている複数の見本ベクトルのそれぞれにつ
いて、所定の各代表点に関するフレーム差加算値を求
め、前記フレーム差加算値のうち、最小値を与える見本ベク
トルを前記各ブロックにおける動きベクトルとして判定
すると共に、当該動きベクトルが有する前記フレーム差加算値と、各
見本ベクトルが有するフレーム差加算値の平均値とによ
り決定される分散値に基づいて、当該動きベクトルが有
意ベクトルであるか否かを判定し、特定の着目ブロックとの距離を基礎として予め設定され
ている前記各ブロックの優先順位と、Ｎ個の前記動きベ
クトルのうち有意ベクトルであると判定されたＮ′個
（Ｎ′≦Ｎ）の動きベクトルとに基づいて、Ｐ個（Ｐ＜
Ｎ）の動きベクトルを候補ベクトルとして選択し、前記候補ベクトルの中から最適な動き補正を与える動き
ベクトルを検出して前記最適ベクトルとすることによ
り、入力された動画像信号に動き補正処理を施すことを
特徴とする動き補正方法。