JPH08205163A - 動き補償予測画像作成装置 - Google Patents
動き補償予測画像作成装置Info
- Publication number
- JPH08205163A JPH08205163A JP1160795A JP1160795A JPH08205163A JP H08205163 A JPH08205163 A JP H08205163A JP 1160795 A JP1160795 A JP 1160795A JP 1160795 A JP1160795 A JP 1160795A JP H08205163 A JPH08205163 A JP H08205163A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- predicted image
- motion vector
- compensated predicted
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
Abstract
(57)【要約】
【目的】 より予測誤差が小さい動き補償予測画像を作
成できる動き補償予測画像作成装置を提供する。 【構成】 動き補償予測画像作成装置に、ワーピング動
き補償方式による動き補償予測画像の作成を、それぞ
れ、異なる格子点配置３０に対して行う２つのワーピン
グ動き補償回路１３1 、１３2 設け、平均化回路１５に
よって、各ワーピング動き補償回路１３が出力する２つ
の動き補償予測画像を平均した画像３３が出力されるよ
うにする。
成できる動き補償予測画像作成装置を提供する。 【構成】 動き補償予測画像作成装置に、ワーピング動
き補償方式による動き補償予測画像の作成を、それぞ
れ、異なる格子点配置３０に対して行う２つのワーピン
グ動き補償回路１３1 、１３2 設け、平均化回路１５に
よって、各ワーピング動き補償回路１３が出力する２つ
の動き補償予測画像を平均した画像３３が出力されるよ
うにする。
Description
【０００１】
【産業上の利用分野】本発明は、動き補償予測画像作成
装置に係わり、動画像を基に動き補償予測画像を作成す
る動き補償予測画像作成装置に関する。
装置に係わり、動画像を基に動き補償予測画像を作成す
る動き補償予測画像作成装置に関する。
【０００２】
【従来の技術】近年、動画画像符号化の国際標準方式の
一部として、動き補償予測方式が用いられるようになっ
ており、さまざまな動き補償予測方式が提案されてい
る。その一つにワーピング動き補償があり、ワーピング
動き補償では、1993年10月画像符号化シンポジウム、p
p.167-168（T.G.Campbell,"Very Low Bitrate Video Co
derusing Warping Prediction"）に記載されているよう
に、画面の中に等間隔の格子を設定し、それぞれの格子
点における動きベクトルを求め、格子点以外の画素で
は、最寄りの複数の格子点の動きベクトルから画素毎の
動きベクトルを内挿計算で求めることによって動き補償
予測画像の作成が行われる。
一部として、動き補償予測方式が用いられるようになっ
ており、さまざまな動き補償予測方式が提案されてい
る。その一つにワーピング動き補償があり、ワーピング
動き補償では、1993年10月画像符号化シンポジウム、p
p.167-168（T.G.Campbell,"Very Low Bitrate Video Co
derusing Warping Prediction"）に記載されているよう
に、画面の中に等間隔の格子を設定し、それぞれの格子
点における動きベクトルを求め、格子点以外の画素で
は、最寄りの複数の格子点の動きベクトルから画素毎の
動きベクトルを内挿計算で求めることによって動き補償
予測画像の作成が行われる。
【０００３】たとえば、格子点数を３点としたワーピン
グ動き補償では、図７に模式的に示したように、各格子
点４１に対して求められた動きベクトル４２によって定
まる参照画像上の三角形の領域を動き補償予測画像とす
る。なお、動きベクトルの検出には、従来より知られて
いるブロックマッチング法等が用いられ、ベクトル内挿
方法としては、アフィン変換等が用いられる。また、整
数でないベクトルに対する画素値の計算方法としては、
隣接４画素の値による線形内挿法が用いられる。
グ動き補償では、図７に模式的に示したように、各格子
点４１に対して求められた動きベクトル４２によって定
まる参照画像上の三角形の領域を動き補償予測画像とす
る。なお、動きベクトルの検出には、従来より知られて
いるブロックマッチング法等が用いられ、ベクトル内挿
方法としては、アフィン変換等が用いられる。また、整
数でないベクトルに対する画素値の計算方法としては、
隣接４画素の値による線形内挿法が用いられる。
【０００４】このワーピング動き補償方式では、特に、
回転や拡大・縮小を含む動画像信号に対する予測誤差
を、現在、国際標準方式で採用されている、単純にブロ
ックのコピーを行う動き補償方式よりも、大幅に低減す
ることができる。
回転や拡大・縮小を含む動画像信号に対する予測誤差
を、現在、国際標準方式で採用されている、単純にブロ
ックのコピーを行う動き補償方式よりも、大幅に低減す
ることができる。
【０００５】なお、３つの格子点を用いてワーピング動
き補償を行う場合の格子点の選び方には、図８（ａ）、
（ｂ）に示すように２通りの選び方が存在している。前
述のT.G.Campbellによるワーピング動き補償では、格子
点の選び方は、いずれか一方の格子点を選択して、動き
補償予測画像の作成が行われているが、1994年10月画像
符号化シンポジウム、pp.121-122（堅田他, “超低ビッ
トレート画像符号化における動き補償方式”）に記載さ
れているように、２通りの格子点の選び方を、適応的に
切り換えて動き補償予測画像の作成を行う方式も知られ
ている。
き補償を行う場合の格子点の選び方には、図８（ａ）、
（ｂ）に示すように２通りの選び方が存在している。前
述のT.G.Campbellによるワーピング動き補償では、格子
点の選び方は、いずれか一方の格子点を選択して、動き
補償予測画像の作成が行われているが、1994年10月画像
符号化シンポジウム、pp.121-122（堅田他, “超低ビッ
トレート画像符号化における動き補償方式”）に記載さ
れているように、２通りの格子点の選び方を、適応的に
切り換えて動き補償予測画像の作成を行う方式も知られ
ている。
【０００６】また、オーバラップ動き補償と呼ばれる動
き補償予測方式も知られている。この方式では、動きベ
クトルによって切り出される参照領域に対して窓関数を
乗ずるといった処理が行われ、隣接する、窓関数を乗じ
た領域を加え合わせることによって、動き補償予測画像
が作成される。たとえば、M.T.Orchard 等による“Over
lapped Block Motion Compensation: An Estimation-Th
eoretic Approach”という論文(IEEE Transaction on I
mage Processing, Vol.3,No.5,pp.693-699) に開示され
ているオーバーラップ動き補償方式では、図９（ａ）の
ようなダイヤモンド型窓関数を、図９（ｂ）に示したよ
うに、網掛けした領域４５に対して乗ずるとともに窓関
数を乗じた隣接する領域（たとえば、領域４５′）を加
え合わせることによって、動き補償予測画像が作成され
ている。
き補償予測方式も知られている。この方式では、動きベ
クトルによって切り出される参照領域に対して窓関数を
乗ずるといった処理が行われ、隣接する、窓関数を乗じ
た領域を加え合わせることによって、動き補償予測画像
が作成される。たとえば、M.T.Orchard 等による“Over
lapped Block Motion Compensation: An Estimation-Th
eoretic Approach”という論文(IEEE Transaction on I
mage Processing, Vol.3,No.5,pp.693-699) に開示され
ているオーバーラップ動き補償方式では、図９（ａ）の
ようなダイヤモンド型窓関数を、図９（ｂ）に示したよ
うに、網掛けした領域４５に対して乗ずるとともに窓関
数を乗じた隣接する領域（たとえば、領域４５′）を加
え合わせることによって、動き補償予測画像が作成され
ている。
【０００７】
【発明が解決しようとする課題】以上、説明した動き補
償方式は、いずれも、現在、国際標準方式として採用さ
れているブロックベースの動き補償方式よりも、予測誤
差を低減することが可能になっているが、その予測誤差
の低減度は、十分なものとはなっていない。
償方式は、いずれも、現在、国際標準方式として採用さ
れているブロックベースの動き補償方式よりも、予測誤
差を低減することが可能になっているが、その予測誤差
の低減度は、十分なものとはなっていない。
【０００８】そこで、本発明の目的は、より予測誤差が
小さい動き補償予測画像を作成できる動き補償予測画像
作成装置を提供することにある。
小さい動き補償予測画像を作成できる動き補償予測画像
作成装置を提供することにある。
【０００９】
【課題を解決するための手段】請求項１記載の発明は、
（イ）現画像と参照画像とを基に、画像上に予め定めら
れた格子点ごとの動きベクトルを検出する動きベクトル
検出手段と、（ロ）格子点以外の画素の動きベクトル
を、第１の格子点配置によって規定される周囲３点の格
子点に対する動きベクトルの内挿演算によって算出する
第１動きベクトル演算手段と、（ハ）格子点以外の画素
の動きベクトルを、第１の格子点配置とは異なる第２の
格子点配置によって規定される周囲３点の格子点に関す
る動きベクトルの内挿演算によって算出する第２動きベ
クトル演算手段と、（ニ）第１動きベクトル演算手段に
よって画素ごとに求められた動きベクトルを基に、第１
の動き補償予測画像を作成する第１動き補償予測画像作
成手段と、（ホ）第２動きベクトル演算手段によって画
素ごとに求められた動きベクトルを基に、第２の動き補
償予測画像を作成する第２動き補償予測画像作成手段
と、（ヘ）これら第１および第２動き補償予測画像作成
手段によって作成される第１および第２動き補償予測画
像とを平均化した画像を、動き補償予測画像として出力
する平均化手段とを具備する。
（イ）現画像と参照画像とを基に、画像上に予め定めら
れた格子点ごとの動きベクトルを検出する動きベクトル
検出手段と、（ロ）格子点以外の画素の動きベクトル
を、第１の格子点配置によって規定される周囲３点の格
子点に対する動きベクトルの内挿演算によって算出する
第１動きベクトル演算手段と、（ハ）格子点以外の画素
の動きベクトルを、第１の格子点配置とは異なる第２の
格子点配置によって規定される周囲３点の格子点に関す
る動きベクトルの内挿演算によって算出する第２動きベ
クトル演算手段と、（ニ）第１動きベクトル演算手段に
よって画素ごとに求められた動きベクトルを基に、第１
の動き補償予測画像を作成する第１動き補償予測画像作
成手段と、（ホ）第２動きベクトル演算手段によって画
素ごとに求められた動きベクトルを基に、第２の動き補
償予測画像を作成する第２動き補償予測画像作成手段
と、（ヘ）これら第１および第２動き補償予測画像作成
手段によって作成される第１および第２動き補償予測画
像とを平均化した画像を、動き補償予測画像として出力
する平均化手段とを具備する。
【００１０】すなわち、請求項１記載の発明による動き
補償予測画像作成装置では、いわゆる、ワーピング動き
補償方式による動き補償予測画像の作成を、異なる２つ
の格子点配置に対して行うとともに、それら２種の動き
補償予測画像の平均化した画像を動き補償予測画像とし
て出力することによって、予測誤差の低減化を行う。
補償予測画像作成装置では、いわゆる、ワーピング動き
補償方式による動き補償予測画像の作成を、異なる２つ
の格子点配置に対して行うとともに、それら２種の動き
補償予測画像の平均化した画像を動き補償予測画像とし
て出力することによって、予測誤差の低減化を行う。
【００１１】請求項２記載の発明は、（イ）現画像と参
照画像とを基に、画像上に予め定められた格子点ごとの
動きベクトルを検出する動きベクトル検出手段と、
（ロ）格子点以外の画素の動きベクトルを、第１の格子
点配置によって規定される周囲３点の格子点に対する動
きベクトルの内挿演算によって算出する第１動きベクト
ル演算手段と、（ハ）格子点以外の画素の動きベクトル
を、第１の格子点配置とは異なる第２の格子点配置によ
って規定される周囲３点の格子点に関する動きベクトル
の内挿演算によって算出する第２動きベクトル演算手段
と、（ニ）第１動きベクトル演算手段によって画素ごと
に求められた動きベクトルを基に、第１の動き補償予測
画像を作成する第１動き補償予測画像作成手段と、
（ヘ）第２動きベクトル演算手段によって画素ごとに求
められた動きベクトルを基に、第２の動き補償予測画像
を作成する第２動き補償予測画像作成手段と、（ト）こ
れら第１および第２動き補償予測画像作成手段によって
作成される第１および第２動き補償予測画像を平均化す
ることによって、第３動き補償予測画像を作成する平均
化手段と、（チ）第１動き補償予測画像作成手段によっ
て作成される第１動き補償予測画像と、第２動き補償予
測画像作成手段によって作成される第２動き補償予測画
像と、平均化手段によって作成される第３動き補償予測
画像とから、各動き補償予測画像の内容を基に、出力す
る動き補償予測画像を小領域単位ごとに選択する選択手
段とを具備する。
照画像とを基に、画像上に予め定められた格子点ごとの
動きベクトルを検出する動きベクトル検出手段と、
（ロ）格子点以外の画素の動きベクトルを、第１の格子
点配置によって規定される周囲３点の格子点に対する動
きベクトルの内挿演算によって算出する第１動きベクト
ル演算手段と、（ハ）格子点以外の画素の動きベクトル
を、第１の格子点配置とは異なる第２の格子点配置によ
って規定される周囲３点の格子点に関する動きベクトル
の内挿演算によって算出する第２動きベクトル演算手段
と、（ニ）第１動きベクトル演算手段によって画素ごと
に求められた動きベクトルを基に、第１の動き補償予測
画像を作成する第１動き補償予測画像作成手段と、
（ヘ）第２動きベクトル演算手段によって画素ごとに求
められた動きベクトルを基に、第２の動き補償予測画像
を作成する第２動き補償予測画像作成手段と、（ト）こ
れら第１および第２動き補償予測画像作成手段によって
作成される第１および第２動き補償予測画像を平均化す
ることによって、第３動き補償予測画像を作成する平均
化手段と、（チ）第１動き補償予測画像作成手段によっ
て作成される第１動き補償予測画像と、第２動き補償予
測画像作成手段によって作成される第２動き補償予測画
像と、平均化手段によって作成される第３動き補償予測
画像とから、各動き補償予測画像の内容を基に、出力す
る動き補償予測画像を小領域単位ごとに選択する選択手
段とを具備する。
【００１２】すなわち、請求項２記載の発明では、請求
項１記載の発明に、第１動き補償予測画像作成手段によ
って作成される第１動き補償予測画像と、第２動き補償
予測画像作成手段によって作成される第２動き補償予測
画像と、平均化手段によって作成される第３動き補償予
測画像とから、各動き補償予測画像の内容を基に、出力
する動き補償予測画像を小領域単位ごとに選択する選択
手段を付加することによって動き補償予測画像作成装置
を構成する。
項１記載の発明に、第１動き補償予測画像作成手段によ
って作成される第１動き補償予測画像と、第２動き補償
予測画像作成手段によって作成される第２動き補償予測
画像と、平均化手段によって作成される第３動き補償予
測画像とから、各動き補償予測画像の内容を基に、出力
する動き補償予測画像を小領域単位ごとに選択する選択
手段を付加することによって動き補償予測画像作成装置
を構成する。
【００１３】請求項３記載の発明は、（イ）現画像と参
照画像とを基に、画像上に予め定められた格子点ごとの
動きベクトルを検出する動きベクトル検出手段と、
（ロ）格子点以外の画素の動きベクトルを、第１の格子
点配置によって規定される周囲３点の格子点に対する動
きベクトルの内挿演算によって算出する第１動きベクト
ル演算手段と、（ハ）格子点以外の画素の動きベクトル
を、第１の格子点配置とは異なる第２の格子点配置によ
って規定される周囲３点の格子点に関する動きベクトル
の内挿演算によって算出する第２動きベクトル演算手段
と、（ニ）第１動きベクトル演算手段によって画素ごと
に求められた動きベクトルを基に、第１の動き補償予測
画像を作成する第１動き補償予測画像作成手段と、
（ホ）第２動きベクトル演算手段によって画素ごとに求
められた動きベクトルを基に、第２の動き補償予測画像
を作成する第２動き補償予測画像作成手段と、（ヘ）第
１動き補償予測画像作成手段によって作成される第１動
き補償予測画像に画素位置に応じた重み付けを行った画
像と、第２動き補償予測画像作成手段によって作成され
る第２動き補償予測画像に画素位置に応じた重み付けを
行った画像とを加算することによって得られる画像を、
動き補償予測画像として出力する重み付け平均化手段と
を具備する。
照画像とを基に、画像上に予め定められた格子点ごとの
動きベクトルを検出する動きベクトル検出手段と、
（ロ）格子点以外の画素の動きベクトルを、第１の格子
点配置によって規定される周囲３点の格子点に対する動
きベクトルの内挿演算によって算出する第１動きベクト
ル演算手段と、（ハ）格子点以外の画素の動きベクトル
を、第１の格子点配置とは異なる第２の格子点配置によ
って規定される周囲３点の格子点に関する動きベクトル
の内挿演算によって算出する第２動きベクトル演算手段
と、（ニ）第１動きベクトル演算手段によって画素ごと
に求められた動きベクトルを基に、第１の動き補償予測
画像を作成する第１動き補償予測画像作成手段と、
（ホ）第２動きベクトル演算手段によって画素ごとに求
められた動きベクトルを基に、第２の動き補償予測画像
を作成する第２動き補償予測画像作成手段と、（ヘ）第
１動き補償予測画像作成手段によって作成される第１動
き補償予測画像に画素位置に応じた重み付けを行った画
像と、第２動き補償予測画像作成手段によって作成され
る第２動き補償予測画像に画素位置に応じた重み付けを
行った画像とを加算することによって得られる画像を、
動き補償予測画像として出力する重み付け平均化手段と
を具備する。
【００１４】すなわち、請求項３記載の発明では、いわ
ゆる、ワーピング動き補償方式によって作成された２つ
の動き補償予測画像を平均化する際に、画素位置に応じ
た重み付けが行われるように、動き補償予測画像作成装
置を構成する。これにより、オーバラップ動き補償の利
点をも兼ね備えた動き補償予測画像作成装置が得られる
ことになる。
ゆる、ワーピング動き補償方式によって作成された２つ
の動き補償予測画像を平均化する際に、画素位置に応じ
た重み付けが行われるように、動き補償予測画像作成装
置を構成する。これにより、オーバラップ動き補償の利
点をも兼ね備えた動き補償予測画像作成装置が得られる
ことになる。
【００１５】
【実施例】以下、実施例につき本発明を詳細に説明す
る。
る。
【００１６】第１の実施例
【００１７】図１ないし図３を用いて、第１の実施例に
よる動き補償予測画像作成装置の構成および動作を説明
する。なお、図１は、動き補償予測画像作成装置の概略
構成を示すブロック図であり、図２、図３は、それぞ
れ、動き補償予測画像作成装置内に設けられるワーピン
グ動き補償回路、平均化回路の構成を示すブロック図で
ある。
よる動き補償予測画像作成装置の構成および動作を説明
する。なお、図１は、動き補償予測画像作成装置の概略
構成を示すブロック図であり、図２、図３は、それぞ
れ、動き補償予測画像作成装置内に設けられるワーピン
グ動き補償回路、平均化回路の構成を示すブロック図で
ある。
【００１８】図１に示してあるように、第１の実施例の
動き補償予測画像作成装置は、動き検出回路１１とフレ
ームメモリ１２とワーピング動き補償回路１３1 および
１３ 2 と、平均化回路１５によって構成されている。
動き補償予測画像作成装置は、動き検出回路１１とフレ
ームメモリ１２とワーピング動き補償回路１３1 および
１３ 2 と、平均化回路１５によって構成されている。
【００１９】動き検出回路１１は、現画像３１と参照画
像を基に、予め定められた格子点の動きベクトルを検出
する回路である。フレームメモリ１２は、動き検出と動
き補償に用いる参照画像３２を蓄積するメモリであり、
このフレームメモリ２１から、動き検出回路１１へ、参
照画像が供給される。
像を基に、予め定められた格子点の動きベクトルを検出
する回路である。フレームメモリ１２は、動き検出と動
き補償に用いる参照画像３２を蓄積するメモリであり、
このフレームメモリ２１から、動き検出回路１１へ、参
照画像が供給される。
【００２０】ワーピング動き補償回路１３1 は、動き検
出回路１１から与えられる動きベクトルと、フレームメ
モリ１２から与えられる参照画像とを用いて、３つの格
子点を用いたワーピング動き補償のための、第１の格子
点配置３０1 に対応する、第１の動き補償予測画像を作
成する回路であり、ワーピング動き補償回路１３2 は、
第１の格子点配置とは異なる第２の格子点配置３０2 に
対応する、第２の動き補償予測画像を作成する回路であ
り、各ワーピング動き補償回路１３は、図２に示すよう
に、ベクトル内挿回路２１と予測画素内挿回路２２によ
って構成されている。
出回路１１から与えられる動きベクトルと、フレームメ
モリ１２から与えられる参照画像とを用いて、３つの格
子点を用いたワーピング動き補償のための、第１の格子
点配置３０1 に対応する、第１の動き補償予測画像を作
成する回路であり、ワーピング動き補償回路１３2 は、
第１の格子点配置とは異なる第２の格子点配置３０2 に
対応する、第２の動き補償予測画像を作成する回路であ
り、各ワーピング動き補償回路１３は、図２に示すよう
に、ベクトル内挿回路２１と予測画素内挿回路２２によ
って構成されている。
【００２１】ワーピング動き補償回路１３内に設けられ
ているベクトル内挿回路２１は、動き検出回路１１から
与えられる３格子点の動きベクトルを用いて、それらの
格子点によって決定される三角形に含まれる画素の動き
ベクトルの内挿演算を行い、その結果を出力し、予測画
素内挿回路２２は、ベクトル内挿回路２１から与えられ
る動きベクトルと、フレームメモリ１２から与えられ
る、その動きベクトルによって規定される最大４つの隣
接画素値を用いて、予測画素の内挿演算を行う。
ているベクトル内挿回路２１は、動き検出回路１１から
与えられる３格子点の動きベクトルを用いて、それらの
格子点によって決定される三角形に含まれる画素の動き
ベクトルの内挿演算を行い、その結果を出力し、予測画
素内挿回路２２は、ベクトル内挿回路２１から与えられ
る動きベクトルと、フレームメモリ１２から与えられ
る、その動きベクトルによって規定される最大４つの隣
接画素値を用いて、予測画素の内挿演算を行う。
【００２２】このような構成を有するワーピング動き補
償回路１３1 および１３2 から出力される第１および第
２動き補償予測画像は、図１に示してあるように、平均
化回路１５に入力される。
償回路１３1 および１３2 から出力される第１および第
２動き補償予測画像は、図１に示してあるように、平均
化回路１５に入力される。
【００２３】平均化回路１５は、図３に示したように、
２つの乗算器２３1 、２３2 と加算器２４によって構成
されており、ワーピング動き補償回路１３1 からの第１
動き補償予測画像に対しては、乗算器２３1 によって１
／２が乗ぜられ、ワーピング動き補償回路１３2 からの
第２動き補償予測画像に対しては、乗算器２３2 によっ
て１／２が乗ぜられ、乗算が行われた２つの動き補償予
測画像を加算した動き補償予測画像３３が、加算器２４
によって出力されている。
２つの乗算器２３1 、２３2 と加算器２４によって構成
されており、ワーピング動き補償回路１３1 からの第１
動き補償予測画像に対しては、乗算器２３1 によって１
／２が乗ぜられ、ワーピング動き補償回路１３2 からの
第２動き補償予測画像に対しては、乗算器２３2 によっ
て１／２が乗ぜられ、乗算が行われた２つの動き補償予
測画像を加算した動き補償予測画像３３が、加算器２４
によって出力されている。
【００２４】このように、第１の実施例の動き補償予測
画像作成装置では、異なる格子点配置を基に予測された
２種の動き補償予測画像を平均化したものが、動き補償
予測画像として出力される。このため、出力される動き
補償予測画像の予測誤差は、以下に記すように、従来の
方式による予測誤差に比して小さくなる。
画像作成装置では、異なる格子点配置を基に予測された
２種の動き補償予測画像を平均化したものが、動き補償
予測画像として出力される。このため、出力される動き
補償予測画像の予測誤差は、以下に記すように、従来の
方式による予測誤差に比して小さくなる。
【００２５】現画像の画素値をｘ、ワーピング動き補償
回路１３1 の出力である第１の動き補償予測画像の画素
値をｘ1 、ワーピング動き補償回路１３2 の出力であ
る、第２の動き補償予測画像の画素値をｘ2 とする。ワ
ーピング動き補償回路１３1 による予測値とワーピング
動き補償回路１３2 による予測値の寄与が同等であると
考えられる場合、ｘとｘ1 、ｘとｘ2 の間の相関係数ρ
は、同じであると考えられ、（１）式が成立する。な
お、（１）式において、Ｅ［・］は、期待値を表わす。
回路１３1 の出力である第１の動き補償予測画像の画素
値をｘ1 、ワーピング動き補償回路１３2 の出力であ
る、第２の動き補償予測画像の画素値をｘ2 とする。ワ
ーピング動き補償回路１３1 による予測値とワーピング
動き補償回路１３2 による予測値の寄与が同等であると
考えられる場合、ｘとｘ1 、ｘとｘ2 の間の相関係数ρ
は、同じであると考えられ、（１）式が成立する。な
お、（１）式において、Ｅ［・］は、期待値を表わす。
【００２６】
【数１】
【００２７】ここで、一方のワーピング動き補償回路の
みを用いて動き補償予測画像の作成を行う場合を考え
る。この場合、予測誤差の分散は、（２）式で表せるこ
とになる。
みを用いて動き補償予測画像の作成を行う場合を考え
る。この場合、予測誤差の分散は、（２）式で表せるこ
とになる。
【００２８】
【数２】
【００２９】また、この実施例のように、２つのワーピ
ング動き補償回路の予測値の平均をとった場合には、予
測誤差の分散は、（３）式で表せることになる。なお、
（３）式において用いられている、ρ′は、（４）式で
表わされるｘ1 とｘ2 の相関係数である。
ング動き補償回路の予測値の平均をとった場合には、予
測誤差の分散は、（３）式で表せることになる。なお、
（３）式において用いられている、ρ′は、（４）式で
表わされるｘ1 とｘ2 の相関係数である。
【００３０】
【数３】
【００３１】（２）式から（４）式を減ずると、“（１
−ρ′）Ｅ［ｘ2 ］／２”が得られる。従って、第１の
実施例の動き補償予測画像作成装置のように、２種の予
測値の予測に用いられた方法が異なる場合（すなわち、
ρ′が１より小さい場合）、平均化処理によって、常
に、予測誤差の低減効果が得られることになる。
−ρ′）Ｅ［ｘ2 ］／２”が得られる。従って、第１の
実施例の動き補償予測画像作成装置のように、２種の予
測値の予測に用いられた方法が異なる場合（すなわち、
ρ′が１より小さい場合）、平均化処理によって、常
に、予測誤差の低減効果が得られることになる。
【００３２】第２の実施例
【００３３】図４に、第２の実施例による動き補償予測
画像作成装置のブロック図を示す。図示してあるよう
に、第２の実施例の動き補償予測画像作成装置は、第１
の実施例の動き補償予測画像作成装置に、予測モード決
定回路１６を付加したものとなっている。予測モード決
定回路１６には、フレームメモリ１２からの参照画像
と、各ワーピング動き補償回路１３からの動き補償予測
画像と、平均化回路１５からの動き補償予測画像とが入
力されており、予測モード決定回路１６は、３種の動き
補償予測画像の中から、たとえば、フレームメモリ１２
からの参照画像に最も近い動き補償予測画像を出力する
といったように、小領域単位で適応的に、１つの動き補
償予測画像を選択して、選択した動き補償予測画像３３
と、動き補償予測モード３４とを出力する。
画像作成装置のブロック図を示す。図示してあるよう
に、第２の実施例の動き補償予測画像作成装置は、第１
の実施例の動き補償予測画像作成装置に、予測モード決
定回路１６を付加したものとなっている。予測モード決
定回路１６には、フレームメモリ１２からの参照画像
と、各ワーピング動き補償回路１３からの動き補償予測
画像と、平均化回路１５からの動き補償予測画像とが入
力されており、予測モード決定回路１６は、３種の動き
補償予測画像の中から、たとえば、フレームメモリ１２
からの参照画像に最も近い動き補償予測画像を出力する
といったように、小領域単位で適応的に、１つの動き補
償予測画像を選択して、選択した動き補償予測画像３３
と、動き補償予測モード３４とを出力する。
【００３４】このように、第２の実施例の動き補償予測
画像作成装置では、複数の動き補償予測画像から、小領
域単位で、１つの動き補償予測画像が適応的に選択され
ているので、画像全体としての予測誤差を更に低減でき
ることになる。
画像作成装置では、複数の動き補償予測画像から、小領
域単位で、１つの動き補償予測画像が適応的に選択され
ているので、画像全体としての予測誤差を更に低減でき
ることになる。
【００３５】第３の実施例
【００３６】第３の実施例の動き補償予測画像作成装置
は、第１の実施例の動き補償予測画像作成装置内に設け
られている平均化回路を、重み付け平均を行う重み付け
平均化回路に置き換えたものであるため、その全体構成
の説明は省略することにする。
は、第１の実施例の動き補償予測画像作成装置内に設け
られている平均化回路を、重み付け平均を行う重み付け
平均化回路に置き換えたものであるため、その全体構成
の説明は省略することにする。
【００３７】図５に、第３の実施例の動き補償予測画像
作成装置に備えられる重み付け平均化回路のブロック図
を示す。図示してあるように、重み付け平均化回路１７
は、第１の実施例の平均化回路（図３）に、２つの乗算
器２５1 、２５2 と、２つのリード・オンリ・メモリ
（ＲＯＭ）２６1 、２６2 とを付加したものとなってお
り、各ＲＯＭ２６には、格子点に対する画素の位置に応
じた窓関数の重み付け値が記憶される。
作成装置に備えられる重み付け平均化回路のブロック図
を示す。図示してあるように、重み付け平均化回路１７
は、第１の実施例の平均化回路（図３）に、２つの乗算
器２５1 、２５2 と、２つのリード・オンリ・メモリ
（ＲＯＭ）２６1 、２６2 とを付加したものとなってお
り、各ＲＯＭ２６には、格子点に対する画素の位置に応
じた窓関数の重み付け値が記憶される。
【００３８】すなわち、第３の実施例の動き補償予測画
像作成装置では、２つのワーピング動き補償回路から入
力される動き補償予測画像に対して、それぞれ、乗算器
２３ 1 、２３2 によって１／２が乗ぜられた後に、さら
に、乗算器２５1 、２５2 によってＲＯＭ２６1 、２６
2 内に記憶されている重み付け値が乗ぜられ、加算器２
４によって加算されて出力される。
像作成装置では、２つのワーピング動き補償回路から入
力される動き補償予測画像に対して、それぞれ、乗算器
２３ 1 、２３2 によって１／２が乗ぜられた後に、さら
に、乗算器２５1 、２５2 によってＲＯＭ２６1 、２６
2 内に記憶されている重み付け値が乗ぜられ、加算器２
４によって加算されて出力される。
【００３９】このように、第３の実施例の動き補償予測
画像作成装置では、ワーピング動き補償により作成され
た第１の動き補償予測画像と第２の動き補償予測画像に
対して、図６に模式的に示したように、従来のダイヤモ
ンド型窓関数を用いたオーバラップ動き補償（図９参
照）と、ほぼ、等価な処理が行われることになる。この
ため、ワーピング動き補償とオーバーラップ動き補償の
利点を兼ね備えた動き補償が実現できることになる。
画像作成装置では、ワーピング動き補償により作成され
た第１の動き補償予測画像と第２の動き補償予測画像に
対して、図６に模式的に示したように、従来のダイヤモ
ンド型窓関数を用いたオーバラップ動き補償（図９参
照）と、ほぼ、等価な処理が行われることになる。この
ため、ワーピング動き補償とオーバーラップ動き補償の
利点を兼ね備えた動き補償が実現できることになる。
【００４０】
【発明の効果】以上、詳細に説明したように、請求項１
ないし請求項４記載の発明による動き補償予測画像作成
装置では、異なる２種の格子点配置を用いたワーピング
動き補償によって得られる動き補償予測画像を平均化す
ることによって動き補償予測画像が得られているので、
従来よりも、優れた予測効率で動き補償が行えることに
なる。
ないし請求項４記載の発明による動き補償予測画像作成
装置では、異なる２種の格子点配置を用いたワーピング
動き補償によって得られる動き補償予測画像を平均化す
ることによって動き補償予測画像が得られているので、
従来よりも、優れた予測効率で動き補償が行えることに
なる。
【００４１】また、請求項２記載の発明のように、複数
の動き補償予測画像から、小領域単位で、適応的に出力
する動き補償予測画像を選択するように、動き補償予測
画像作成装置を構成すれば、更に、予測誤差を小さくす
ることができるようになる。
の動き補償予測画像から、小領域単位で、適応的に出力
する動き補償予測画像を選択するように、動き補償予測
画像作成装置を構成すれば、更に、予測誤差を小さくす
ることができるようになる。
【００４２】そして、請求項３記載の発明のように、複
数の動き補償予測画像の重み付け平均を出力するよう
に、動き補償予測画像作成装置を構成した場合には、オ
ーバーラップ動き補償の利点をも兼ね備えた動き補償が
実現できることになる。
数の動き補償予測画像の重み付け平均を出力するよう
に、動き補償予測画像作成装置を構成した場合には、オ
ーバーラップ動き補償の利点をも兼ね備えた動き補償が
実現できることになる。
【図１】本発明の第１の実施例による動き補償予測画像
作成装置の構成を示すブロック図である。
作成装置の構成を示すブロック図である。
【図２】第１の実施例の動き補償予測画像作成装置内に
設けられているワーピング補償回路の構成を示すブロッ
ク図である。
設けられているワーピング補償回路の構成を示すブロッ
ク図である。
【図３】第１の実施例の動き補償予測画像作成装置内に
設けられている平均化回路の構成を示すブロック図であ
る。
設けられている平均化回路の構成を示すブロック図であ
る。
【図４】本発明の第２の実施例による動き補償予測画像
作成装置の構成を示すブロック図である。
作成装置の構成を示すブロック図である。
【図５】本発明の第３の実施例の動き補償予測画像作成
装置内に設けられる平均化回路の構成を示すブロック図
である。
装置内に設けられる平均化回路の構成を示すブロック図
である。
【図６】第３の実施例の動き補償予測画像作成装置にお
ける平均化処理の概要を示した模式図である。
ける平均化処理の概要を示した模式図である。
【図７】従来のワーピング動き補償の概要を示した模式
図である。
図である。
【図８】ワーピング動き補償で使用可能な格子点配置を
示した図である。
示した図である。
【図９】従来の、ダイヤモンド型窓関数を用いたオーバ
ーラップ動き補償の概要を示した模式図である。
ーラップ動き補償の概要を示した模式図である。
１１ 動き検出回路 １２ フレームメモリ １３ ワーピング補償回路 １５ 平均化回路 １６ 予測モード決定回路 １７ 重み付け平均化回路 ２１ ベクトル内挿回路 ２２ 予測画素内挿回路 ２３、２５ 乗算器 ２４ 加算器 ２６ リード・オンリ・メモリ（ＲＯＭ） ３０ 格子点配置 ３１ 現画像 ３２ 参照画像 ３３ 動き補償予測画像 ３４ 動き補償予測モード ４１ 格子点 ４２ 動きベクトル ４３ 単位ブロック ４５ 領域
Claims (4)
- 【請求項１】 現画像と参照画像とを基に、画像上に予
め定められた格子点ごとの動きベクトルを検出する動き
ベクトル検出手段と、 前記格子点以外の画素の動きベクトルを、第１の格子点
配置によって規定される周囲３点の格子点に対する前記
動きベクトルの内挿演算によって算出する第１動きベク
トル演算手段と、 前記格子点以外の画素の動きベクトルを、前記第１の格
子点配置とは異なる第２の格子点配置によって規定され
る周囲３点の格子点に関する動きベクトルの内挿演算に
よって算出する第２動きベクトル演算手段と、 前記第１動きベクトル演算手段によって画素ごとに求め
られた動きベクトルを基に、第１の動き補償予測画像を
作成する第１動き補償予測画像作成手段と、 前記第２動きベクトル演算手段によって画素ごとに求め
られた動きベクトルを基に、第２の動き補償予測画像を
作成する第２動き補償予測画像作成手段と、 これら第１および第２動き補償予測画像作成手段によっ
て作成される第１および第２動き補償予測画像とを平均
化した画像を、動き補償予測画像として出力する平均化
手段とを具備することを特徴とする動き補償予測画像作
成装置。 - 【請求項２】 現画像と参照画像とを基に、画像上に予
め定められた格子点ごとの動きベクトルを検出する動き
ベクトル検出手段と、 前記格子点以外の画素の動きベクトルを、第１の格子点
配置によって規定される周囲３点の格子点に対する前記
動きベクトルの内挿演算によって算出する第１動きベク
トル演算手段と、 前記格子点以外の画素の動きベクトルを、前記第１の格
子点配置とは異なる第２の格子点配置によって規定され
る周囲３点の格子点に関する動きベクトルの内挿演算に
よって算出する第２動きベクトル演算手段と、 前記第１動きベクトル演算手段によって画素ごとに求め
られた動きベクトルを基に、第１の動き補償予測画像を
作成する第１動き補償予測画像作成手段と、 前記第２動きベクトル演算手段によって画素ごとに求め
られた動きベクトルを基に、第２の動き補償予測画像を
作成する第２動き補償予測画像作成手段と、 これら第１および第２動き補償予測画像作成手段によっ
て作成される第１および第２動き補償予測画像とを平均
化することによって、第３動き補償予測画像を作成する
平均化手段と、 前記第１動き補償予測画像作成手段によって作成される
第１動き補償予測画像と、第２動き補償予測画像作成手
段によって作成される第２動き補償予測画像と、平均化
手段によって作成される第３動き補償予測画像とから、
各動き補償予測画像の内容を基に、出力する動き補償予
測画像を小領域単位ごとに選択する選択手段とを具備す
ることを特徴とする動き補償予測画像作成装置。 - 【請求項３】 現画像と参照画像とを基に、画像上に予
め定められた格子点ごとの動きベクトルを検出する動き
ベクトル検出手段と、 前記格子点以外の画素の動きベクトルを、第１の格子点
配置によって規定される周囲３点の格子点に対する前記
動きベクトルの内挿演算によって算出する第１動きベク
トル演算手段と、 前記格子点以外の画素の動きベクトルを、前記第１の格
子点配置とは異なる第２の格子点配置によって規定され
る周囲３点の格子点に関する動きベクトルの内挿演算に
よって算出する第２動きベクトル演算手段と、 前記第１動きベクトル演算手段によって画素ごとに求め
られた動きベクトルを基に、第１の動き補償予測画像を
作成する第１動き補償予測画像作成手段と、 前記第２動きベクトル演算手段によって画素ごとに求め
られた動きベクトルを基に、第２の動き補償予測画像を
作成する第２動き補償予測画像作成手段と、 前記第１動き補償予測画像作成手段によって作成される
第１動き補償予測画像に画素位置に応じた重み付けを行
った画像と、第２動き補償予測画像作成手段によって作
成される第２動き補償予測画像に画素位置に応じた重み
付けを行った画像とを加算することによって得られる画
像を、動き補償予測画像として出力する重み付け平均化
手段とを具備することを特徴とする動き補償予測画像作
成装置。 - 【請求項４】 前記選択手段が、前記参照画像ともっと
も近い動き補償予測画像を選択するものであることを特
徴とする請求項２項記載の動き補償予測画像作成装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1160795A JP2891129B2 (ja) | 1995-01-27 | 1995-01-27 | 動き補償予測画像作成装置 |
| US08/593,463 US5706055A (en) | 1995-01-27 | 1996-01-29 | Motion compensated predictive picture production apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1160795A JP2891129B2 (ja) | 1995-01-27 | 1995-01-27 | 動き補償予測画像作成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08205163A true JPH08205163A (ja) | 1996-08-09 |
| JP2891129B2 JP2891129B2 (ja) | 1999-05-17 |
Family
ID=11782603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1160795A Expired - Fee Related JP2891129B2 (ja) | 1995-01-27 | 1995-01-27 | 動き補償予測画像作成装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5706055A (ja) |
| JP (1) | JP2891129B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100698640B1 (ko) * | 2005-12-30 | 2007-03-21 | 고려대학교 산학협력단 | 와핑 변환을 이용한 프레임 보간 방법 및 그 장치 |
| JP2012165278A (ja) * | 2011-02-08 | 2012-08-30 | Jvc Kenwood Corp | 画像符号化装置、画像符号化方法および画像符号化プログラム |
| JP2012165279A (ja) * | 2011-02-08 | 2012-08-30 | Jvc Kenwood Corp | 画像復号装置、画像復号方法および画像復号プログラム |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL116060A (en) * | 1995-11-19 | 2000-02-17 | Israel State | Method for compression and decompression of a video signal |
| KR101456305B1 (ko) * | 2007-02-20 | 2014-11-03 | 소니 주식회사 | 화상 표시 장치, 영상 신호 처리 장치 및 영상 신호 처리 방법 |
| US8548065B2 (en) * | 2009-10-22 | 2013-10-01 | The Chinese University Of Hong Kong | Parametric interpolation filter for motion-compensated prediction |
-
1995
- 1995-01-27 JP JP1160795A patent/JP2891129B2/ja not_active Expired - Fee Related
-
1996
- 1996-01-29 US US08/593,463 patent/US5706055A/en not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100698640B1 (ko) * | 2005-12-30 | 2007-03-21 | 고려대학교 산학협력단 | 와핑 변환을 이용한 프레임 보간 방법 및 그 장치 |
| JP2012165278A (ja) * | 2011-02-08 | 2012-08-30 | Jvc Kenwood Corp | 画像符号化装置、画像符号化方法および画像符号化プログラム |
| JP2012165279A (ja) * | 2011-02-08 | 2012-08-30 | Jvc Kenwood Corp | 画像復号装置、画像復号方法および画像復号プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US5706055A (en) | 1998-01-06 |
| JP2891129B2 (ja) | 1999-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6219464B1 (en) | Source data interpolation method and apparatus | |
| JP4083265B2 (ja) | 画像信号の方式変換方法および装置 | |
| JP3619530B2 (ja) | 画像処理方法及び画像処理装置及びテレビジョン標準変換器 | |
| EP1339234A2 (en) | Apparatus for and method of converting scanning format | |
| US8503812B2 (en) | Method and system for motion compensated temporal filtering using both FIR and IIR filtering | |
| US20050179814A1 (en) | Method and system for de-interlacing digital images, and computer program product therefor | |
| JP4375080B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| CN101953167A (zh) | 减少光晕的图像插值 | |
| US7499102B2 (en) | Image processing apparatus using judder-map and method thereof | |
| JP2004194317A (ja) | インターレース解除装置および方法 | |
| JPH11112940A (ja) | 動きベクトルの生成方法および装置 | |
| JP2891129B2 (ja) | 動き補償予測画像作成装置 | |
| JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP4250598B2 (ja) | 動き補償型ｉｐ変換処理装置及び動き補償型ｉｐ変換処理方法 | |
| US20090046208A1 (en) | Image processing method and apparatus for generating intermediate frame image | |
| JP3490142B2 (ja) | 動画像符号化方法及び装置 | |
| JP4250807B2 (ja) | フィールド周波数変換装置および変換方法 | |
| JP4470282B2 (ja) | 画像処理装置および画像処理方法 | |
| JPH0530411A (ja) | 画像の動きベクトル検出装置及び画像揺れ補正装置 | |
| JP3832924B2 (ja) | 画像信号処理方法、画像信号処理装置及びコンピュータ読み取り可能な記録媒体 | |
| JP3271275B2 (ja) | 画像の振動補正装置及び画像の振動補正方法 | |
| US20060187355A1 (en) | Device and a method of scanning pixels in video frames | |
| JP2000092454A (ja) | 画像情報変換装置および画像情報変換方法 | |
| JPH0865679A (ja) | 動画像符号化装置及び動画像復号装置 | |
| JPH10234044A (ja) | 動きベクトル検出方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |