JP2798120B2 - 動き補償フレーム間予測方法及び動き補償フレーム間予測装置 - Google Patents
動き補償フレーム間予測方法及び動き補償フレーム間予測装置Info
- Publication number
- JP2798120B2 JP2798120B2 JP20008595A JP20008595A JP2798120B2 JP 2798120 B2 JP2798120 B2 JP 2798120B2 JP 20008595 A JP20008595 A JP 20008595A JP 20008595 A JP20008595 A JP 20008595A JP 2798120 B2 JP2798120 B2 JP 2798120B2
- Authority
- JP
- Japan
- Prior art keywords
- section
- representative point
- motion vector
- motion
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【0001】
【発明の属する技術分野】本発明は動画像の符号化にお
いて、画面内に定められた複数個の代表点における動き
ベクトルから、画面内の全ての画素位置での動きベクト
ルを補間することにより、動画像の動き補償フレーム間
予測を行なう方法及び装置に関する。本発明は、特に、
代表点を結んで構成される区画に対し、代表点を適応的
に追加して区画の再分割を行う動き補償フレーム間予測
方法及び装置に関する。
いて、画面内に定められた複数個の代表点における動き
ベクトルから、画面内の全ての画素位置での動きベクト
ルを補間することにより、動画像の動き補償フレーム間
予測を行なう方法及び装置に関する。本発明は、特に、
代表点を結んで構成される区画に対し、代表点を適応的
に追加して区画の再分割を行う動き補償フレーム間予測
方法及び装置に関する。
【0002】
【従来の技術】動画像の符号化に用いられる動き補償フ
レーム間予測の方法として、画面内に定められた複数個
の代表点における動きベクトルから、画面内の全ての画
素位置での動きベクトルを補間することで予測信号を生
成する方法が知られている。この方法では、あらかじめ
設定した代表点を結んで構成される区画に対し、代表点
を適応的に追加して区画の再分割を行うことで、予測効
率を改善できる。この方法の一例として、1994年電
子情報通信学会秋季大会D−151、「可変ブロックサ
イズ・ベクトル内挿動き補償方式」に記載の方法が知ら
れている。この方法では、画像をあらかじめ定めた大き
さの正方ブロックの区画に初期分割し、各ブロックの頂
点に代表点を設定する。次に、あらかじめ定めた基準に
よって選択された一部のブロックを、図9のように4等
分に再分割し、新たにできたブロックの頂点(図9の点
A、B、C、D、E)に代表点を追加する。この方法に
より、代表点の配置密度を可変にすることができる。
レーム間予測の方法として、画面内に定められた複数個
の代表点における動きベクトルから、画面内の全ての画
素位置での動きベクトルを補間することで予測信号を生
成する方法が知られている。この方法では、あらかじめ
設定した代表点を結んで構成される区画に対し、代表点
を適応的に追加して区画の再分割を行うことで、予測効
率を改善できる。この方法の一例として、1994年電
子情報通信学会秋季大会D−151、「可変ブロックサ
イズ・ベクトル内挿動き補償方式」に記載の方法が知ら
れている。この方法では、画像をあらかじめ定めた大き
さの正方ブロックの区画に初期分割し、各ブロックの頂
点に代表点を設定する。次に、あらかじめ定めた基準に
よって選択された一部のブロックを、図9のように4等
分に再分割し、新たにできたブロックの頂点(図9の点
A、B、C、D、E)に代表点を追加する。この方法に
より、代表点の配置密度を可変にすることができる。
【0003】図10に前記従来の方法の手順を示す。ま
ず代表点を画面内に設定し、代表点を結んで構成される
区画で画面を区画分けする(ステップ101)。例えば
図11(a)のように正方格子の交点上に代表点を配置
し、画面を正方形ブロックの区画に分ける。次に前記代
表点での動きベクトルを検出する(ステップ102)。
検出された動きベクトルに従い、区画内部での動き補償
予測を行う(ステップ103)。すなわち区画内部の各
画素の動きベクトルを4頂点での動きベクトルから線形
補間により定め、予測信号を生成する。つぎに動き補償
予測の結果から区画の再分割を行うか否かを区画ごとに
判定する(ステップ207)。この際、例えば予測誤差
の大きさが、あらかじめ定めたしきい値より大きい場合
に再分割する。分割すると判定された区画には代表点を
追加して図11(b)のように分割する(ステップ20
4)。前記追加代表点での動きベクトルを検出する(ス
テップ105)。最後に前記判定により選択された一部
の区画が再分割された状態で、画面全体の動き補償予測
を行う(ステップ206)。この最後の処理では実際に
は、図11(c)のように、すべての区画が再分割され
たものと仮定して、小区画ごとに動き補償予測を行う。
このとき小区画の頂点で、前記の代表点追加によって動
きベクトルが検出されていない位置の動きベクトルは、
始めに配置した代表点位置で検出された動きベクトルか
ら線形補間により計算して求めておく。
ず代表点を画面内に設定し、代表点を結んで構成される
区画で画面を区画分けする(ステップ101)。例えば
図11(a)のように正方格子の交点上に代表点を配置
し、画面を正方形ブロックの区画に分ける。次に前記代
表点での動きベクトルを検出する(ステップ102)。
検出された動きベクトルに従い、区画内部での動き補償
予測を行う(ステップ103)。すなわち区画内部の各
画素の動きベクトルを4頂点での動きベクトルから線形
補間により定め、予測信号を生成する。つぎに動き補償
予測の結果から区画の再分割を行うか否かを区画ごとに
判定する(ステップ207)。この際、例えば予測誤差
の大きさが、あらかじめ定めたしきい値より大きい場合
に再分割する。分割すると判定された区画には代表点を
追加して図11(b)のように分割する(ステップ20
4)。前記追加代表点での動きベクトルを検出する(ス
テップ105)。最後に前記判定により選択された一部
の区画が再分割された状態で、画面全体の動き補償予測
を行う(ステップ206)。この最後の処理では実際に
は、図11(c)のように、すべての区画が再分割され
たものと仮定して、小区画ごとに動き補償予測を行う。
このとき小区画の頂点で、前記の代表点追加によって動
きベクトルが検出されていない位置の動きベクトルは、
始めに配置した代表点位置で検出された動きベクトルか
ら線形補間により計算して求めておく。
【0004】
【発明が解決しようとする課題】前記従来の方法では、
追加される代表点は、再分割前の区画の境界線上にも配
置される。このため、追加代表点の位置で検出される動
きベクトルは、隣接する区画の予測にも影響を与える。
例えば図12のように、ある区画Kを再分割すると判定
した場合、その区画の辺上に追加される代表点Pでの動
きベクトルは、隣接する区画Lの網掛け部分の予測にも
影響を与える。そのため、区画単位に独立した予測処理
を行うことが困難であり、分割しないと判定された区画
でも、予測をやり直す必要があった。
追加される代表点は、再分割前の区画の境界線上にも配
置される。このため、追加代表点の位置で検出される動
きベクトルは、隣接する区画の予測にも影響を与える。
例えば図12のように、ある区画Kを再分割すると判定
した場合、その区画の辺上に追加される代表点Pでの動
きベクトルは、隣接する区画Lの網掛け部分の予測にも
影響を与える。そのため、区画単位に独立した予測処理
を行うことが困難であり、分割しないと判定された区画
でも、予測をやり直す必要があった。
【0005】本発明の課題は、区画の再分割の影響を区
画内部に留め、区画単位に独立した予測処理を実現可能
とした動き補償フレーム間予測方法を提供することにあ
る。
画内部に留め、区画単位に独立した予測処理を実現可能
とした動き補償フレーム間予測方法を提供することにあ
る。
【0006】本発明の別の課題は、区画の再分割の影響
を区画内部に留め、区画単位に独立した予測処理を実現
可能とした動き補償フレーム間予測装置を提供すること
にある。
を区画内部に留め、区画単位に独立した予測処理を実現
可能とした動き補償フレーム間予測装置を提供すること
にある。
【0007】
【課題を解決するための手段】本発明によれば、動画像
信号にて表される画面内に複数個の代表点を設定し、こ
れら代表点を結んで区画を構成するステップと、前記複
数個の代表点における動きベクトルを代表点動きベクト
ルとして検出するステップと、前記代表点動きベクトル
から、前記区画内部の全ての画素位置での動きベクトル
を補間することにより、区間内部での動き補償予測を行
なうステップとを含む動き補償フレーム間予測方法にお
いて、前記区画どうしの境界線上を除くそれぞれの区画
の内部だけに追加代表点を適応的に追加設定し、該追加
代表点の各々と当該追加代表点を囲む前記代表点とを結
んで小区画を構成するステップと、前記追加代表点にお
ける動きベクトルを追加代表点動きベクトルとして検出
するステップと、前記追加代表点動きベクトル及び前記
代表点動きベクトルから、前記小区画内部の全ての画素
位置での動きベクトルを補間することにより、小区画内
部での動き補償予測を行なうステップとを更に含むこと
を特徴とする動き補償フレーム間予測方法が得られる。
信号にて表される画面内に複数個の代表点を設定し、こ
れら代表点を結んで区画を構成するステップと、前記複
数個の代表点における動きベクトルを代表点動きベクト
ルとして検出するステップと、前記代表点動きベクトル
から、前記区画内部の全ての画素位置での動きベクトル
を補間することにより、区間内部での動き補償予測を行
なうステップとを含む動き補償フレーム間予測方法にお
いて、前記区画どうしの境界線上を除くそれぞれの区画
の内部だけに追加代表点を適応的に追加設定し、該追加
代表点の各々と当該追加代表点を囲む前記代表点とを結
んで小区画を構成するステップと、前記追加代表点にお
ける動きベクトルを追加代表点動きベクトルとして検出
するステップと、前記追加代表点動きベクトル及び前記
代表点動きベクトルから、前記小区画内部の全ての画素
位置での動きベクトルを補間することにより、小区画内
部での動き補償予測を行なうステップとを更に含むこと
を特徴とする動き補償フレーム間予測方法が得られる。
【0008】更に本発明によれば、区間内部での動き補
償予測を行なうステップは、前記代表点動きベクトルか
ら、前記区画内部の全ての画素位置での動きベクトルを
補間により定めて第1の予測信号を生成するものであ
り、前記小区間内部での動き補償予測を行なうステップ
は、前記追加代表点動きベクトル及び前記代表点動きベ
クトルから、前記小区画内部の全ての画素位置での動き
ベクトルを補間により定めて第2の予測信号を生成する
ものであることを特徴とする動き補償フレーム間予測方
法が得られる。
償予測を行なうステップは、前記代表点動きベクトルか
ら、前記区画内部の全ての画素位置での動きベクトルを
補間により定めて第1の予測信号を生成するものであ
り、前記小区間内部での動き補償予測を行なうステップ
は、前記追加代表点動きベクトル及び前記代表点動きベ
クトルから、前記小区画内部の全ての画素位置での動き
ベクトルを補間により定めて第2の予測信号を生成する
ものであることを特徴とする動き補償フレーム間予測方
法が得られる。
【0009】また本発明によれば、前記第1の予測信号
と前記第2の予測信号とを比較し、適応的に区画の再分
割を行う区画を選択するステップを更に含むことを特徴
とする動き補償フレーム間予測方法が得られる。
と前記第2の予測信号とを比較し、適応的に区画の再分
割を行う区画を選択するステップを更に含むことを特徴
とする動き補償フレーム間予測方法が得られる。
【0010】更に本発明によれば、動画像信号にて表さ
れる画面内に複数個の代表点を設定し、これら代表点を
結んで区画を構成する第1の手段と、前記複数個の代表
点における動きベクトルを代表点動きベクトルとして検
出する第2の手段と、前記代表点動きベクトルから、前
記区画内部の全ての画素位置での動きベクトルを補間す
ることにより、区間内部での動き補償予測を行なう第3
の手段とを含む動き補償フレーム間予測装置において、
前記区画どうしの境界線上を除くそれぞれの区画の内部
だけに追加代表点を適応的に追加設定し、該追加代表点
の各々と当該追加代表点を囲む前記代表点とを結んで小
区画を構成する第4の手段と、前記追加代表点における
動きベクトルを追加代表点動きベクトルとして検出する
第5の手段と、前記追加代表点動きベクトル及び前記代
表点動きベクトルから、前記小区画内部の全ての画素位
置での動きベクトルを補間することにより、小区画内部
での動き補償予測を行なう第6の手段とを更に含むこと
を特徴とする動き補償フレーム間予測装置が得られる。
れる画面内に複数個の代表点を設定し、これら代表点を
結んで区画を構成する第1の手段と、前記複数個の代表
点における動きベクトルを代表点動きベクトルとして検
出する第2の手段と、前記代表点動きベクトルから、前
記区画内部の全ての画素位置での動きベクトルを補間す
ることにより、区間内部での動き補償予測を行なう第3
の手段とを含む動き補償フレーム間予測装置において、
前記区画どうしの境界線上を除くそれぞれの区画の内部
だけに追加代表点を適応的に追加設定し、該追加代表点
の各々と当該追加代表点を囲む前記代表点とを結んで小
区画を構成する第4の手段と、前記追加代表点における
動きベクトルを追加代表点動きベクトルとして検出する
第5の手段と、前記追加代表点動きベクトル及び前記代
表点動きベクトルから、前記小区画内部の全ての画素位
置での動きベクトルを補間することにより、小区画内部
での動き補償予測を行なう第6の手段とを更に含むこと
を特徴とする動き補償フレーム間予測装置が得られる。
【0011】また本発明によれば、前記第3の手段は、
前記代表点動きベクトルから、前記区画内部の全ての画
素位置での動きベクトルを補間により定めて第1の予測
信号を生成するものであり、前記第6の手段は、前記追
加代表点動きベクトル及び前記代表点動きベクトルか
ら、前記小区画内部の全ての画素位置での動きベクトル
を補間により定めて第2の予測信号を生成するものであ
ることを特徴とする動き補償フレーム間予測装置が得ら
れる。
前記代表点動きベクトルから、前記区画内部の全ての画
素位置での動きベクトルを補間により定めて第1の予測
信号を生成するものであり、前記第6の手段は、前記追
加代表点動きベクトル及び前記代表点動きベクトルか
ら、前記小区画内部の全ての画素位置での動きベクトル
を補間により定めて第2の予測信号を生成するものであ
ることを特徴とする動き補償フレーム間予測装置が得ら
れる。
【0012】更に本発明によれば、前記第1の予測信号
と前記第2の予測信号とを比較し、適応的に区画の再分
割を行う区画を選択する手段を更に含むことを特徴とす
る動き補償フレーム間予測装置が得られる。
と前記第2の予測信号とを比較し、適応的に区画の再分
割を行う区画を選択する手段を更に含むことを特徴とす
る動き補償フレーム間予測装置が得られる。
【0013】また本発明によれば、動画像の符号化に際
し、画面内に定められた複数個の代表点における動きベ
クトルから、画面内の全ての画素位置での動きベクトル
を補間することで、動き補償フレーム間予測を行なう方
法において、画面上にあらかじめ定めた配置で複数個の
代表点を設定し、前記代表点を結んで区画を構成し、前
記区画どうしの境界線上を除くそれぞれの区画の内部だ
けに、代表点を適応的に追加設定することで、代表点の
配置密度を可変とすることを特徴とする動き補償フレー
ム間予測方法が得られる。
し、画面内に定められた複数個の代表点における動きベ
クトルから、画面内の全ての画素位置での動きベクトル
を補間することで、動き補償フレーム間予測を行なう方
法において、画面上にあらかじめ定めた配置で複数個の
代表点を設定し、前記代表点を結んで区画を構成し、前
記区画どうしの境界線上を除くそれぞれの区画の内部だ
けに、代表点を適応的に追加設定することで、代表点の
配置密度を可変とすることを特徴とする動き補償フレー
ム間予測方法が得られる。
【0014】
【発明の実施の形態】次に本発明の実施例について図面
を参照して説明する。
を参照して説明する。
【0015】図1に本発明の一実施例による動き補償フ
レーム間予測方法における処理手順を示す。まず代表点
を画面内に設定し、代表点を結んで構成される区画で画
面を区画分けする(ステップ101)。例えば図2
(a)のように画面を正方形の区画に分け、正方格子の
交点上に代表点を配置する。次に前記代表点での動きベ
クトルを検出する(ステップ102)。前記検出された
動きベクトルに従い、区画内部での動き補償予測を行う
(ステップ103)。動き補償では区画内部の各画素の
動きベクトルを、4頂点での動きベクトルから線形補間
により定めて予測信号を生成する。次にそれぞれの区画
に図3(c)のように代表点を追加代表点として追加
し、小区画に分割する(ステップ104)。そして、前
記追加代表点での動きベクトルを検出する(ステップ1
05)。ここで、区画を再分割した場合の動き補償予測
を行い(ステップ106)、その予測誤差と再分割する
前の予測誤差とを比較し、適応的に再分割を行う区画を
選択する(ステップ107)。たとえば図2(b)のよ
うに区画の再分割が適応的に行われる。
レーム間予測方法における処理手順を示す。まず代表点
を画面内に設定し、代表点を結んで構成される区画で画
面を区画分けする(ステップ101)。例えば図2
(a)のように画面を正方形の区画に分け、正方格子の
交点上に代表点を配置する。次に前記代表点での動きベ
クトルを検出する(ステップ102)。前記検出された
動きベクトルに従い、区画内部での動き補償予測を行う
(ステップ103)。動き補償では区画内部の各画素の
動きベクトルを、4頂点での動きベクトルから線形補間
により定めて予測信号を生成する。次にそれぞれの区画
に図3(c)のように代表点を追加代表点として追加
し、小区画に分割する(ステップ104)。そして、前
記追加代表点での動きベクトルを検出する(ステップ1
05)。ここで、区画を再分割した場合の動き補償予測
を行い(ステップ106)、その予測誤差と再分割する
前の予測誤差とを比較し、適応的に再分割を行う区画を
選択する(ステップ107)。たとえば図2(b)のよ
うに区画の再分割が適応的に行われる。
【0016】図4に上記実施例による動き補償フレーム
間予測方法を実施するための動き補償フレーム間予測装
置を示す。代表点配置設定手段301は、基本となる代
表点配置を設定し、設定された代表点位置を示す代表点
位置情報3を出力する。動きベクトル検出手段302
は、代表点位置情報3で示された代表点位置での動きベ
クトルを入力画像1および参照画像2を用いて検出し、
検出動きベクトルを表す動きベクトル情報4を出力す
る。区画領域指定手段303は、代表点位置情報3で示
された代表点を結んで構成される区画を順番に指定する
区画領域情報5を出力する。指定区画動き補償予測手段
304は、区画領域情報5によって指定された区画ごと
に、動きベクトル情報4にて表された検出動きベクトル
に基づき、動き補償予測を行ない、参照画像2から予測
信号10を生成し予測誤差8と併せて出力する。また、
代表点追加手段305は、区画領域情報5によって指定
された区画内部に追加代表点を追加し、追加代表点位置
を示す追加代表点位置情報6を出力する。追加代表点動
きベクトル検出手段306は、追加代表点位置情報6で
示された追加代表点位置での動きベクトルを入力画像1
および参照画像2を用いて検出し、検出動きベクトルを
表す追加代表点動きベクトル情報7を出力する。指定区
間分割時動き補償予測手段307は、区画領域情報5に
よって指定された区画ごとに、追加代表点動きベクトル
情報7にて表された検出動きベクトルに基づき、動き補
償予測を行ない(即ち、指定した区画に代表点を追加し
て分割した時の動き補償フレーム間予測を行ない)、参
照画像2から予測信号11を生成し予測誤差9と併せて
出力する。適応区画分割判定手段308は、指定した区
画を分割した場合の予測誤差8と、分割しない場合の予
測誤差9とを比較し、分割する否かを判定し、判定結果
として、分割する否かを表す区画判定モード12を出力
する。予測信号選択手段309は、区画判定モード12
で表された判定結果が分割を示している時、分割した場
合の予測信号11を選択予測信号13として選択して出
力し、区画判定モード12で表された判定結果が非分割
を示している時、分割しなかった場合の予測信号10を
選択予測信号13として選択して出力する。追加代表点
情報選択出力手段310は、区画判定モード12で表さ
れた判定結果が分割を示している時にのみ追加代表点位
置情報6とその位置での追加代表点動きベクトル情報7
を追加代表点情報14として出力する。なお、追加代表
点位置を予め定めた位置に設定するようにすることも可
能であり、この場合は追加代表点情報14を出力する必
要はない。
間予測方法を実施するための動き補償フレーム間予測装
置を示す。代表点配置設定手段301は、基本となる代
表点配置を設定し、設定された代表点位置を示す代表点
位置情報3を出力する。動きベクトル検出手段302
は、代表点位置情報3で示された代表点位置での動きベ
クトルを入力画像1および参照画像2を用いて検出し、
検出動きベクトルを表す動きベクトル情報4を出力す
る。区画領域指定手段303は、代表点位置情報3で示
された代表点を結んで構成される区画を順番に指定する
区画領域情報5を出力する。指定区画動き補償予測手段
304は、区画領域情報5によって指定された区画ごと
に、動きベクトル情報4にて表された検出動きベクトル
に基づき、動き補償予測を行ない、参照画像2から予測
信号10を生成し予測誤差8と併せて出力する。また、
代表点追加手段305は、区画領域情報5によって指定
された区画内部に追加代表点を追加し、追加代表点位置
を示す追加代表点位置情報6を出力する。追加代表点動
きベクトル検出手段306は、追加代表点位置情報6で
示された追加代表点位置での動きベクトルを入力画像1
および参照画像2を用いて検出し、検出動きベクトルを
表す追加代表点動きベクトル情報7を出力する。指定区
間分割時動き補償予測手段307は、区画領域情報5に
よって指定された区画ごとに、追加代表点動きベクトル
情報7にて表された検出動きベクトルに基づき、動き補
償予測を行ない(即ち、指定した区画に代表点を追加し
て分割した時の動き補償フレーム間予測を行ない)、参
照画像2から予測信号11を生成し予測誤差9と併せて
出力する。適応区画分割判定手段308は、指定した区
画を分割した場合の予測誤差8と、分割しない場合の予
測誤差9とを比較し、分割する否かを判定し、判定結果
として、分割する否かを表す区画判定モード12を出力
する。予測信号選択手段309は、区画判定モード12
で表された判定結果が分割を示している時、分割した場
合の予測信号11を選択予測信号13として選択して出
力し、区画判定モード12で表された判定結果が非分割
を示している時、分割しなかった場合の予測信号10を
選択予測信号13として選択して出力する。追加代表点
情報選択出力手段310は、区画判定モード12で表さ
れた判定結果が分割を示している時にのみ追加代表点位
置情報6とその位置での追加代表点動きベクトル情報7
を追加代表点情報14として出力する。なお、追加代表
点位置を予め定めた位置に設定するようにすることも可
能であり、この場合は追加代表点情報14を出力する必
要はない。
【0017】以下では、各処理手段を個別に説明する。
【0018】代表点配置設定手段301では、画像内の
あらかじめ定めた位置に代表点を配置する。当該手段に
おいて設定される代表点の配置の例を図5に示す。図5
(a)及び(b)は矩形ブロックの頂点に代表点を配置
した例である。代表点を結んで構成される区画分けは、
図5(a)のように、4角形でもよいし、図5(b)の
ように4角形に対角線を追加した3角形としてもよい。
あるいは図5(c)のような3角形の格子状に代表点を
配置してもよいし、図5(d)のように6角形の格子状
に代表点配置をしてもよい。また、上記に述べた方法で
配置した代表点位置を初期配置とし、さらに修正処理を
加えて変形させた区画構造を持った配置を用いてもよ
い。例えば図5(e)のように、画面から輪郭線を検出
し、区画の境界線が検出輪郭に適合するように、代表点
位置を修正しておいてもよい。
あらかじめ定めた位置に代表点を配置する。当該手段に
おいて設定される代表点の配置の例を図5に示す。図5
(a)及び(b)は矩形ブロックの頂点に代表点を配置
した例である。代表点を結んで構成される区画分けは、
図5(a)のように、4角形でもよいし、図5(b)の
ように4角形に対角線を追加した3角形としてもよい。
あるいは図5(c)のような3角形の格子状に代表点を
配置してもよいし、図5(d)のように6角形の格子状
に代表点配置をしてもよい。また、上記に述べた方法で
配置した代表点位置を初期配置とし、さらに修正処理を
加えて変形させた区画構造を持った配置を用いてもよ
い。例えば図5(e)のように、画面から輪郭線を検出
し、区画の境界線が検出輪郭に適合するように、代表点
位置を修正しておいてもよい。
【0019】なお以下の説明では、主に3角形の区画を
使って動き補償フレーム間予測を行なう方法について説
明するが、区画の形状はこれよりも頂点数の多い多角形
でもよく、3角形だけに限られない。
使って動き補償フレーム間予測を行なう方法について説
明するが、区画の形状はこれよりも頂点数の多い多角形
でもよく、3角形だけに限られない。
【0020】動きベクトル検出手段302における、代
表点での動きベクトル検出の方法について説明する。動
きベクトル検出には、ブロック・マッチング法を用いる
ことができる。マッチングの対象領域には固定サイズの
矩形ブロックを用いることができる。また、代表点位置
をフレーム間で追跡してマッチングをとる場合には、代
表点近傍ほど重み付けしたブロック・マッチングを用い
ることもできる。たとえば、代表点の位置を(x0 ,y
0 )とし、マッチング評価範囲Rを数1式によって表わ
されるとしたとき、評価位置(x,y)での重みwは、
数2式と定義する。
表点での動きベクトル検出の方法について説明する。動
きベクトル検出には、ブロック・マッチング法を用いる
ことができる。マッチングの対象領域には固定サイズの
矩形ブロックを用いることができる。また、代表点位置
をフレーム間で追跡してマッチングをとる場合には、代
表点近傍ほど重み付けしたブロック・マッチングを用い
ることもできる。たとえば、代表点の位置を(x0 ,y
0 )とし、マッチング評価範囲Rを数1式によって表わ
されるとしたとき、評価位置(x,y)での重みwは、
数2式と定義する。
【0021】
【数1】
【0022】
【数2】 ここでbsは数3式で表わされる。
【0023】
【数3】 重み付けの方法としては、マッチング評価範囲の領域で
任意の重み係数マップを設定することができ、ここに述
べた方法に限られない。
任意の重み係数マップを設定することができ、ここに述
べた方法に限られない。
【0024】動きベクトル検出は、所定の候補ベクトル
から、マッチング予測誤差が最小となるベクトルを選択
する。すなわち、ある候補ベクトル(vx ,vy )を選
んだときの予測誤差量Err(vx ,vy )は、現在フレ
ーム画像をC(x,y)、参照フレーム画像をP(x,
y)とすると、数4式で評価する。
から、マッチング予測誤差が最小となるベクトルを選択
する。すなわち、ある候補ベクトル(vx ,vy )を選
んだときの予測誤差量Err(vx ,vy )は、現在フレ
ーム画像をC(x,y)、参照フレーム画像をP(x,
y)とすると、数4式で評価する。
【0025】
【数4】 評価は計算の負荷軽減のために2乗和ではなく絶対値和
を用いて、以下の数5式のように計算してもよい。
を用いて、以下の数5式のように計算してもよい。
【0026】
【数5】 あるいは、3角形の区画を用いている場合には、上記ブ
ロック・マッチングの評価対象領域として、注目代表点
に隣接する3角形の区画領域を結合した6角形領域を使
うことができる。ただし、画面周辺部では6角形とは限
らない。
ロック・マッチングの評価対象領域として、注目代表点
に隣接する3角形の区画領域を結合した6角形領域を使
うことができる。ただし、画面周辺部では6角形とは限
らない。
【0027】さらに、マッチング法で検出した動きベク
トルを予測結果を参照して再修正することも可能であ
る。例えば、マッチング法で検出した動きベクトルを中
心として動きベクトルの再探索範囲を設定する。再探索
範囲内の候補ベクトルに対し、注目代表点に隣接する全
ての区画領域における動き補償予測誤差を評価し、誤差
が最小となる候補ベクトルを動きベクトルとして検出す
る。
トルを予測結果を参照して再修正することも可能であ
る。例えば、マッチング法で検出した動きベクトルを中
心として動きベクトルの再探索範囲を設定する。再探索
範囲内の候補ベクトルに対し、注目代表点に隣接する全
ての区画領域における動き補償予測誤差を評価し、誤差
が最小となる候補ベクトルを動きベクトルとして検出す
る。
【0028】区画領域指定手段303における、領域指
定方法について説明する。区画の指定は、初期代表点位
置の設定によって定められた区画を、あらかじめ決めた
順序で指定していく。例えば、上段の区画から下段の区
画へ、ある段では左から右へという順に指定すればよ
い。指定パッチの位置情報としては、該区画の頂点位置
座標を接続順に出力してやればよく、これにより区画内
部の画素を指定することができる。
定方法について説明する。区画の指定は、初期代表点位
置の設定によって定められた区画を、あらかじめ決めた
順序で指定していく。例えば、上段の区画から下段の区
画へ、ある段では左から右へという順に指定すればよ
い。指定パッチの位置情報としては、該区画の頂点位置
座標を接続順に出力してやればよく、これにより区画内
部の画素を指定することができる。
【0029】指定区画動き補償予測手段304では、指
定された区画内部の動き補償予測信号を生成する。3角
形の区画を用いている場合には、まず区画領域情報か
ら、3角形の区画を生成する。3つの頂点の動きベクト
ルから、区画内部の各画素の動きベクトルを線形補間で
求める。例えば図6のように、ある3角形ABCの内部
の点Pにおける動きベクトルvP は、3つの頂点での動
きベクトルvA ,vB ,vC から、数6式により求める
ことができる。
定された区画内部の動き補償予測信号を生成する。3角
形の区画を用いている場合には、まず区画領域情報か
ら、3角形の区画を生成する。3つの頂点の動きベクト
ルから、区画内部の各画素の動きベクトルを線形補間で
求める。例えば図6のように、ある3角形ABCの内部
の点Pにおける動きベクトルvP は、3つの頂点での動
きベクトルvA ,vB ,vC から、数6式により求める
ことができる。
【0030】
【数6】 このように区画内部の全ての画素位置での動きベクトル
を補間し、画素毎に動き補償位置を求める。
を補間し、画素毎に動き補償位置を求める。
【0031】画素毎の動き補償位置を求める別の方法を
図7を用いて説明する。この方法では、フレーム間で対
応する3角形の区画間でマッピングをとり、対応をアフ
ィン変換で表現する。この方法によれば、まず、注目す
る3角形の区画について、対応する3組の頂点位置の関
係から、アフィン変換パラメータを計算する。3角形内
部の画素の動き補償位置は、前記アフィン変換パラメー
タから算出する。
図7を用いて説明する。この方法では、フレーム間で対
応する3角形の区画間でマッピングをとり、対応をアフ
ィン変換で表現する。この方法によれば、まず、注目す
る3角形の区画について、対応する3組の頂点位置の関
係から、アフィン変換パラメータを計算する。3角形内
部の画素の動き補償位置は、前記アフィン変換パラメー
タから算出する。
【0032】アフィン変換を利用する場合の、動き補償
位置の計算法について説明する。2次元のアフィン変換
は数7式のように6つのパラメータa〜fにより、ある
位置(x,y)に対応した参照画像上の動き補償位置
(x′,y′)を表現する。
位置の計算法について説明する。2次元のアフィン変換
は数7式のように6つのパラメータa〜fにより、ある
位置(x,y)に対応した参照画像上の動き補償位置
(x′,y′)を表現する。
【0033】
【数7】 ここで、ある3角形の3頂点の位置を(x1 ,y1 ),
(x2 ,y2 ),(x3 ,y3 )とし、この3角形に対
応する参照画像上での3頂点の位置を(x′1,
y′1 ),(x′2 ,y′2 ),(x′3 ,y′3 )と
すると、数8式が成立する。
(x2 ,y2 ),(x3 ,y3 )とし、この3角形に対
応する参照画像上での3頂点の位置を(x′1,
y′1 ),(x′2 ,y′2 ),(x′3 ,y′3 )と
すると、数8式が成立する。
【0034】
【数8】 この式を以下の数9式のように解くことによりパラメー
タを計算することができる。
タを計算することができる。
【0035】
【数9】 3角形内部の画素の動き補償位置は、求めたアフィン変
換パラメータから上述した数式7により計算する。
換パラメータから上述した数式7により計算する。
【0036】また、長方形の区画を用いる場合には、区
画内部の画素位置での動きベクトルは、4つの頂点の動
きベクトルから、区画内部の各画素の動きベクトルを線
形補間で求める。例えば図8のように、ある長方形AB
DCの内部の点Pにおける動きベクトルvP は、4つの
頂点での動きベクトルvA ,vB ,vC ,vD から、下
記の数10式により求めることができる。
画内部の画素位置での動きベクトルは、4つの頂点の動
きベクトルから、区画内部の各画素の動きベクトルを線
形補間で求める。例えば図8のように、ある長方形AB
DCの内部の点Pにおける動きベクトルvP は、4つの
頂点での動きベクトルvA ,vB ,vC ,vD から、下
記の数10式により求めることができる。
【0037】
【数10】 6角形の区画を用いる場合には、特開平6−32700
0号公報「動き補償方法」に記載の方法を使うことがで
きる。この方法によれば、参照画像から入力画像への対
応づけを6つの頂点における動きベクトルから2次変換
により定義することで、区画内部の各画素位置での動き
ベクトルを求める。
0号公報「動き補償方法」に記載の方法を使うことがで
きる。この方法によれば、参照画像から入力画像への対
応づけを6つの頂点における動きベクトルから2次変換
により定義することで、区画内部の各画素位置での動き
ベクトルを求める。
【0038】上記のようにして画素毎に動き補償位置を
求め、参照画像上の前記動き補償位置での画素値をフレ
ーム間予測値とする。参照画像上でサンプル点上にない
画素の値は、線形補間により計算する。補間は(x′,
y′)での画素値をP(x′,y′)とし、x0 =
[x′]、y0 =[y′]、α=x′−[x′]、β=
y′−[y′]とおいて、数11式により計算する。
求め、参照画像上の前記動き補償位置での画素値をフレ
ーム間予測値とする。参照画像上でサンプル点上にない
画素の値は、線形補間により計算する。補間は(x′,
y′)での画素値をP(x′,y′)とし、x0 =
[x′]、y0 =[y′]、α=x′−[x′]、β=
y′−[y′]とおいて、数11式により計算する。
【0039】
【数11】 ここで、[x]はxを越えない最大の整数を示す。
【0040】このように区画内の全ての画素位置での予
測値を計算し、区画内の予測信号を生成して出力する。
測値を計算し、区画内の予測信号を生成して出力する。
【0041】代表点追加手段305では、指定区画を再
分割するときに、追加すべき代表点位置を設定する。例
えば3角形の区画を使う場合には、図3(a)のよう
に、3角形の内部のあらかじめ定めた位置に代表点を追
加し、追加代表点と3角形区画の頂点をそれぞれ結合し
た線分で分割すればよい。あるいは図3(b)のよう
に、追加代表点と各辺の中点とをそれぞれ結合した線分
による分割を追加してもよい。このとき各辺の中点にお
ける動きベクトルは、辺の両端の代表点から線形補間さ
れた値を使うことで、隣接区画との動きベクトルの連続
性を損なわずに再分割できる。
分割するときに、追加すべき代表点位置を設定する。例
えば3角形の区画を使う場合には、図3(a)のよう
に、3角形の内部のあらかじめ定めた位置に代表点を追
加し、追加代表点と3角形区画の頂点をそれぞれ結合し
た線分で分割すればよい。あるいは図3(b)のよう
に、追加代表点と各辺の中点とをそれぞれ結合した線分
による分割を追加してもよい。このとき各辺の中点にお
ける動きベクトルは、辺の両端の代表点から線形補間さ
れた値を使うことで、隣接区画との動きベクトルの連続
性を損なわずに再分割できる。
【0042】4角形の区画を使う場合には、例えば図3
(c)のように、対角線の交点に代表点を追加し、対角
線で4つの3角形に分割すればよい。あるいは図3
(d)のように、2組のみ対辺の中点を結んだ直線の交
点に代表点を追加し、4つの4角形に分割してもよい。
この場合も3角形の場合と同様に、各辺の中点における
動きベクトルには、辺の両端の代表点から線形補間され
た値を使うことで、隣接区画との動きベクトルの連続性
を損なわずに再分割できる。また、図3(e)、(f)
のように分割線を追加して、さらに8つの小3角形に再
分割することも可能である。
(c)のように、対角線の交点に代表点を追加し、対角
線で4つの3角形に分割すればよい。あるいは図3
(d)のように、2組のみ対辺の中点を結んだ直線の交
点に代表点を追加し、4つの4角形に分割してもよい。
この場合も3角形の場合と同様に、各辺の中点における
動きベクトルには、辺の両端の代表点から線形補間され
た値を使うことで、隣接区画との動きベクトルの連続性
を損なわずに再分割できる。また、図3(e)、(f)
のように分割線を追加して、さらに8つの小3角形に再
分割することも可能である。
【0043】6角形の区画を使う場合も同様に、図3
(g)のように、6角形の中心位置に代表点を追加し、
追加代表点と6角形区画の頂点をそれぞれ結合した線分
で分割すればよい。
(g)のように、6角形の中心位置に代表点を追加し、
追加代表点と6角形区画の頂点をそれぞれ結合した線分
で分割すればよい。
【0044】上記の実施例では、代表点を1つだけ追加
する例について述べたが、複数個の代表点を追加しても
構わない。例えば図3(h)のように2つの代表点を追
加して分割してもよい。
する例について述べたが、複数個の代表点を追加しても
構わない。例えば図3(h)のように2つの代表点を追
加して分割してもよい。
【0045】これまでの説明では追加代表点位置は、あ
らかじめ定められた位置に配置手順に従い配置していた
が、任意の位置に配置してもよい。配置位置の決定方法
としては、区画内で特徴点検出を行ない、最も特徴量の
大きい値を示す位置に代表点を設定する方法や、区画内
で輪郭線検出を行ない、再分割したときの分割線が最も
輪郭線の適合する位置に追加代表点を設定する、などの
方法で実現できる。また、複数個の代表点位置候補にお
ける動き補償予測誤差量を評価して、予測誤差の最小と
なるものを選ぶ方法を用いてもよい。例えば、図3
(d)の配置位置を変更した場合には、図3(i)及び
(j)などの形態になる。
らかじめ定められた位置に配置手順に従い配置していた
が、任意の位置に配置してもよい。配置位置の決定方法
としては、区画内で特徴点検出を行ない、最も特徴量の
大きい値を示す位置に代表点を設定する方法や、区画内
で輪郭線検出を行ない、再分割したときの分割線が最も
輪郭線の適合する位置に追加代表点を設定する、などの
方法で実現できる。また、複数個の代表点位置候補にお
ける動き補償予測誤差量を評価して、予測誤差の最小と
なるものを選ぶ方法を用いてもよい。例えば、図3
(d)の配置位置を変更した場合には、図3(i)及び
(j)などの形態になる。
【0046】追加代表点位置動きベクトル検出手段30
6では、追加された代表点位置での動きベクトルを検出
する。検出の方法としては、動きベクトル検出手段30
2で用いた手法と同様に、ブロックマッチング方法で用
いることができる。あるいは、複数個の動きベクトル候
補における動き補償予測誤差量を評価して、予測誤差が
最小のなるものを選ぶという方法を用いてもよい。
6では、追加された代表点位置での動きベクトルを検出
する。検出の方法としては、動きベクトル検出手段30
2で用いた手法と同様に、ブロックマッチング方法で用
いることができる。あるいは、複数個の動きベクトル候
補における動き補償予測誤差量を評価して、予測誤差が
最小のなるものを選ぶという方法を用いてもよい。
【0047】指定区画分割時動き補償手段307では、
分割小区画ごとに、頂点位置の動きベクトルを用いて、
分割小区画内部の各画素位置での動きベクトルを補間し
て動き補償予測を行なう。動きベクトルの補間方法は、
指定区画動き補償予測手段304ですでに述べた方法に
したがって実現できる。最後に、それぞれの分割小区画
の予測信号を統合して、指定区画内全体の分割時の予測
信号を生成する。
分割小区画ごとに、頂点位置の動きベクトルを用いて、
分割小区画内部の各画素位置での動きベクトルを補間し
て動き補償予測を行なう。動きベクトルの補間方法は、
指定区画動き補償予測手段304ですでに述べた方法に
したがって実現できる。最後に、それぞれの分割小区画
の予測信号を統合して、指定区画内全体の分割時の予測
信号を生成する。
【0048】適応区画分割判定手段308では、指定区
画を分割した場合の予測誤差と、分割しない場合の予測
誤差とを比較して、分割するかしないかを判定する。分
割する場合には、追加代表点の動きベクトルや、位置を
任意に指定できる場合にはその位置情報などの付加符号
量が発生する。そのため、実際の判定方法としては、付
加符号量の増加に見合うだけの予測性能の改善があると
思われる場合だけ、再分割を行なうことにする。具体的
には、区画内の画素あたり平均2乗予測誤差を計算し、
改善量があらかじめ指定したしきい値以上あれば再分割
を行う方法を使うことができる。
画を分割した場合の予測誤差と、分割しない場合の予測
誤差とを比較して、分割するかしないかを判定する。分
割する場合には、追加代表点の動きベクトルや、位置を
任意に指定できる場合にはその位置情報などの付加符号
量が発生する。そのため、実際の判定方法としては、付
加符号量の増加に見合うだけの予測性能の改善があると
思われる場合だけ、再分割を行なうことにする。具体的
には、区画内の画素あたり平均2乗予測誤差を計算し、
改善量があらかじめ指定したしきい値以上あれば再分割
を行う方法を使うことができる。
【0049】予測値選択手段309では、再分割するか
否かの情報に基づいて、指定区画の予測信号を選択す
る。すなわち、再分割すると判定された場合は、分割時
の予測信号を選択して出力し、再分割しないと判定した
場合は、分割せずに予測した場合の予測信号を選択して
出力する。
否かの情報に基づいて、指定区画の予測信号を選択す
る。すなわち、再分割すると判定された場合は、分割時
の予測信号を選択して出力し、再分割しないと判定した
場合は、分割せずに予測した場合の予測信号を選択して
出力する。
【0050】追加代表点情報選択手段310では、再分
割するか否かの情報に基づいて、追加代表点情報を選択
して出力する。すなわち、再分割すると判定された場合
だけ、追加された代表点での動きベクトル情報を出力す
る。また、代表点位置を任意に設定できる場合には、追
加された代表点の位置情報も出力する。
割するか否かの情報に基づいて、追加代表点情報を選択
して出力する。すなわち、再分割すると判定された場合
だけ、追加された代表点での動きベクトル情報を出力す
る。また、代表点位置を任意に設定できる場合には、追
加された代表点の位置情報も出力する。
【0051】
【発明の効果】以上の説明したように本発明によれば、
代表点の追加を区画の境界線上を除く区画の内部だけに
設定することで、追加の影響を隣接パッチに波及させず
に特定の区画を再分割できる。例えば3角形の区画を使
う場合には、図3(a)のように、3角形の内部に代表
点を追加し、追加代表点と3角形区画の頂点をそれぞれ
結ぶ線分で小区画に分割する。追加された代表点はその
区画内部の予測だけに使用され、他の区画では参照され
ることはないので、再分割の影響は隣接パッチにおよば
ない。あるいは図3(b)のように、追加代表点ともと
の区画の各辺の中点をそれぞれ結んだ線分により分割し
てもよい。このとき各辺の中点における動きベクトル
は、辺の両端の代表点から線形補間することで、隣接区
画との動きベクトルの連続性を損なわずに再分割でき
る。なぜなら隣接パッチが再分割されない場合でも、区
画の境界線上の動きベクトルは、その両端の代表点での
動きベクトルから線形補間した値と一致するからであ
る。この例によっても、追加された代表点はその区画内
部の予測だけに使用され、他の区画では参照されること
はなく、再分割の影響は隣接パッチにおよばない。
代表点の追加を区画の境界線上を除く区画の内部だけに
設定することで、追加の影響を隣接パッチに波及させず
に特定の区画を再分割できる。例えば3角形の区画を使
う場合には、図3(a)のように、3角形の内部に代表
点を追加し、追加代表点と3角形区画の頂点をそれぞれ
結ぶ線分で小区画に分割する。追加された代表点はその
区画内部の予測だけに使用され、他の区画では参照され
ることはないので、再分割の影響は隣接パッチにおよば
ない。あるいは図3(b)のように、追加代表点ともと
の区画の各辺の中点をそれぞれ結んだ線分により分割し
てもよい。このとき各辺の中点における動きベクトル
は、辺の両端の代表点から線形補間することで、隣接区
画との動きベクトルの連続性を損なわずに再分割でき
る。なぜなら隣接パッチが再分割されない場合でも、区
画の境界線上の動きベクトルは、その両端の代表点での
動きベクトルから線形補間した値と一致するからであ
る。この例によっても、追加された代表点はその区画内
部の予測だけに使用され、他の区画では参照されること
はなく、再分割の影響は隣接パッチにおよばない。
【0052】このように本発明によれば、区画単位に独
立に再分割処理できる。また、再分割により追加される
代表点の数が少なく、動き検出の処理量の増加が少なく
て済む。さらに、追加代表点の追加位置を区画内部で任
意の位置に設定することが可能であり、画像内容に適合
した分割を行なうことも可能である。
立に再分割処理できる。また、再分割により追加される
代表点の数が少なく、動き検出の処理量の増加が少なく
て済む。さらに、追加代表点の追加位置を区画内部で任
意の位置に設定することが可能であり、画像内容に適合
した分割を行なうことも可能である。
【図1】本発明の一実施例による動き補償フレーム間予
測方法を説明するための流れ図である。
測方法を説明するための流れ図である。
【図2】本発明で用いる区画の適応再分割形態を説明す
るための図である。
るための図である。
【図3】本発明で用いる区画の再分割方法を説明するた
めの図である。
めの図である。
【図4】上記実施例による動き補償フレーム間予測方法
を実施するための動き補償フレーム間予測装置のブロッ
ク図である。
を実施するための動き補償フレーム間予測装置のブロッ
ク図である。
【図5】本発明で用いる代表点の配置方法を説明するた
めの図である。
めの図である。
【図6】本発明で用いる3角形区画内部の導きベクトル
を線形補間で計算する方法を説明するための図である。
を線形補間で計算する方法を説明するための図である。
【図7】本発明で用いる3角形区画のマッピングにより
動き補償予測をする方法を説明するための図である。
動き補償予測をする方法を説明するための図である。
【図8】本発明で用いる4角形区画内部の動きベクトル
を線形補間で計算する方法を説明するための図である。
を線形補間で計算する方法を説明するための図である。
【図9】従来の方法での区画の再分割方法を説明するた
めの図である。
めの図である。
【図10】従来の方法での動き補償フレーム間予測方法
を説明するための流れ図である。
を説明するための流れ図である。
【図11】従来の方法での区画の適応再分割形態を説明
するための図である。
するための図である。
【図12】従来の方法での区画の再分割による影響を説
明するための図である。
明するための図である。
1 入力画像 2 参照画像 3 代表点位置情報 4 動きベクトル情報 5 区画領域情報 6 追加代表点位置情報 7 追加代表点動きベクトル情報 8 予測誤差 9 予測誤差 10 予測信号 11 予測信号 12 区画分割モード 13 予測信号 14 追加代表点情報 301 代表点配置設定手段 302 動きベクトル検出手段 303 区画領域指定手段 304 指定区画動き補償予測手段 305 代表点追加手段 306 追加代表点動きベクトル検出手段 307 指定区画分割時動き補償予測手段 308 適応区画分割判定手段 309 予測信号選択手段 310 追加代表点情報選択手段
Claims (7)
- 【請求項1】 動画像信号にて表される画面内に複数個
の代表点を設定し、これら代表点を結んで区画を構成す
るステップと、前記複数個の代表点における動きベクト
ルを代表点動きベクトルとして検出するステップと、前
記代表点動きベクトルから、前記区画内部の全ての画素
位置での動きベクトルを補間することにより、区間内部
での動き補償予測を行なうステップとを含む動き補償フ
レーム間予測方法において、 前記区画どうしの境界線上を除くそれぞれの区画の内部
だけに追加代表点を適応的に追加設定し、該追加代表点
の各々と当該追加代表点を囲む前記代表点とを結んで小
区画を構成するステップと、 前記追加代表点における動きベクトルを追加代表点動き
ベクトルとして検出するステップと、 前記追加代表点動きベクトル及び前記代表点動きベクト
ルから、前記小区画内部の全ての画素位置での動きベク
トルを補間することにより、小区画内部での動き補償予
測を行なうステップとを更に含むことを特徴とする動き
補償フレーム間予測方法。 - 【請求項2】 区間内部での動き補償予測を行なうステ
ップは、前記代表点動きベクトルから、前記区画内部の
全ての画素位置での動きベクトルを補間により定めて第
1の予測信号を生成するものであり、 前記小区間内部での動き補償予測を行なうステップは、
前記追加代表点動きベクトル及び前記代表点動きベクト
ルから、前記小区画内部の全ての画素位置での動きベク
トルを補間により定めて第2の予測信号を生成するもの
であることを特徴とする請求項1に記載の動き補償フレ
ーム間予測方法。 - 【請求項3】 前記第1の予測信号と前記第2の予測信
号とを比較し、適応的に区画の再分割を行う区画を選択
するステップを更に含むことを特徴とする請求項2に記
載の動き補償フレーム間予測方法。 - 【請求項4】 動画像信号にて表される画面内に複数個
の代表点を設定し、これら代表点を結んで区画を構成す
る第1の手段と、前記複数個の代表点における動きベク
トルを代表点動きベクトルとして検出する第2の手段
と、前記代表点動きベクトルから、前記区画内部の全て
の画素位置での動きベクトルを補間することにより、区
間内部での動き補償予測を行なう第3の手段とを含む動
き補償フレーム間予測装置において、 前記区画どうしの境界線上を除くそれぞれの区画の内部
だけに追加代表点を適応的に追加設定し、該追加代表点
の各々と当該追加代表点を囲む前記代表点とを結んで小
区画を構成する第4の手段と、 前記追加代表点における動きベクトルを追加代表点動き
ベクトルとして検出する第5の手段と、 前記追加代表点動きベクトル及び前記代表点動きベクト
ルから、前記小区画内部の全ての画素位置での動きベク
トルを補間することにより、小区画内部での動き補償予
測を行なう第6の手段とを更に含むことを特徴とする動
き補償フレーム間予測装置。 - 【請求項5】 前記第3の手段は、前記代表点動きベク
トルから、前記区画内部の全ての画素位置での動きベク
トルを補間により定めて第1の予測信号を生成するもの
であり、 前記第6の手段は、前記追加代表点動きベクトル及び前
記代表点動きベクトルから、前記小区画内部の全ての画
素位置での動きベクトルを補間により定めて第2の予測
信号を生成するものであることを特徴とする請求項4に
記載の動き補償フレーム間予測装置。 - 【請求項6】 前記第1の予測信号と前記第2の予測信
号とを比較し、適応的に区画の再分割を行う区画を選択
する手段を更に含むことを特徴とする請求項5に記載の
動き補償フレーム間予測装置。 - 【請求項7】 動画像の符号化に際し、画面内に定めら
れた複数個の代表点における動きベクトルから、画面内
の全ての画素位置での動きベクトルを補間することで、
動き補償フレーム間予測を行なう方法において、画面上
にあらかじめ定めた配置で複数個の代表点を設定し、前
記代表点を結んで区画を構成し、前記区画どうしの境界
線上を除くそれぞれの区画の内部だけに、代表点を適応
的に追加設定することで、代表点の配置密度を可変とす
ることを特徴とする動き補償フレーム間予測方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20008595A JP2798120B2 (ja) | 1995-08-04 | 1995-08-04 | 動き補償フレーム間予測方法及び動き補償フレーム間予測装置 |
US08/691,919 US5751365A (en) | 1995-08-04 | 1996-08-01 | Motion compensated inter-frame prediction method and apparatus using motion vector interpolation with adaptive representation point addition |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20008595A JP2798120B2 (ja) | 1995-08-04 | 1995-08-04 | 動き補償フレーム間予測方法及び動き補償フレーム間予測装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0951537A JPH0951537A (ja) | 1997-02-18 |
JP2798120B2 true JP2798120B2 (ja) | 1998-09-17 |
Family
ID=16418611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP20008595A Expired - Lifetime JP2798120B2 (ja) | 1995-08-04 | 1995-08-04 | 動き補償フレーム間予測方法及び動き補償フレーム間予測装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US5751365A (ja) |
JP (1) | JP2798120B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100215451B1 (ko) | 1996-05-29 | 1999-08-16 | 윤종용 | 임의형태 물체를 포함한 동화상의 부호화 및 복호화시스템 |
JPH1098729A (ja) * | 1996-09-20 | 1998-04-14 | Hitachi Ltd | フレーム間予測画像の合成方法 |
JP4226730B2 (ja) * | 1999-01-28 | 2009-02-18 | 株式会社東芝 | 物体領域情報生成方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置 |
KR100708091B1 (ko) * | 2000-06-13 | 2007-04-16 | 삼성전자주식회사 | 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법 |
US20040141555A1 (en) * | 2003-01-16 | 2004-07-22 | Rault Patrick M. | Method of motion vector prediction and system thereof |
WO2006030103A1 (fr) * | 2004-09-15 | 2006-03-23 | France Telecom | Procede d'estimation de mouvement a l'aide de maillages deformables |
KR20060123939A (ko) * | 2005-05-30 | 2006-12-05 | 삼성전자주식회사 | 영상의 복부호화 방법 및 장치 |
US20080240242A1 (en) * | 2007-03-27 | 2008-10-02 | Nokia Corporation | Method and system for motion vector predictions |
KR20080107965A (ko) * | 2007-06-08 | 2008-12-11 | 삼성전자주식회사 | 객체 경계 기반 파티션을 이용한 영상의 부호화, 복호화방법 및 장치 |
US8600189B2 (en) | 2007-11-12 | 2013-12-03 | Qualcomm Incorporated | Block-based image stabilization |
JP5716438B2 (ja) * | 2011-02-08 | 2015-05-13 | 株式会社Jvcケンウッド | 画像復号装置、画像復号方法および画像復号プログラム |
JP5716437B2 (ja) * | 2011-02-08 | 2015-05-13 | 株式会社Jvcケンウッド | 画像符号化装置、画像符号化方法および画像符号化プログラム |
CN104363451B (zh) | 2014-10-27 | 2019-01-25 | 华为技术有限公司 | 图像预测方法及相关装置 |
CN111434110B (zh) * | 2018-11-06 | 2023-06-20 | 北京字节跳动网络技术有限公司 | 用于视频处理的方法、装置和存储介质 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3103894B2 (ja) * | 1991-02-06 | 2000-10-30 | ソニー株式会社 | ビデオデータの手振れ補正装置およびその方法 |
US5581309A (en) * | 1992-02-03 | 1996-12-03 | Sanyo Electric Co., Ltd. | Motion vector detecting circuit |
US5276513A (en) * | 1992-06-10 | 1994-01-04 | Rca Thomson Licensing Corporation | Implementation architecture for performing hierarchical motion analysis of video images in real time |
DE4322343C2 (de) * | 1992-07-06 | 1996-10-02 | Mitsubishi Electric Corp | Mittel zum Erfassen eines Bewegungsvektors und Verfahren zum Bestimmen eines Bewegungsvektors |
JPH0698313A (ja) * | 1992-09-14 | 1994-04-08 | Sony Corp | 動画像復号化装置 |
JPH06327000A (ja) * | 1993-05-11 | 1994-11-25 | Kyocera Corp | 動き補償方法 |
JPH07200833A (ja) * | 1993-12-08 | 1995-08-04 | Nec Corp | 画像化システムにおいて移動物体の数を決定し画像の点と移動物体とを関連させる方法 |
US5537155A (en) * | 1994-04-29 | 1996-07-16 | Motorola, Inc. | Method for estimating motion in a video sequence |
KR0171146B1 (ko) * | 1995-03-18 | 1999-03-20 | 배순훈 | 특징점을 이용한 움직임 벡터 검출 장치 |
KR0181063B1 (ko) * | 1995-04-29 | 1999-05-01 | 배순훈 | 특징점을 이용한 움직임 보상에서의 그리드 형성방법 및 장치 |
-
1995
- 1995-08-04 JP JP20008595A patent/JP2798120B2/ja not_active Expired - Lifetime
-
1996
- 1996-08-01 US US08/691,919 patent/US5751365A/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US5751365A (en) | 1998-05-12 |
JPH0951537A (ja) | 1997-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2738325B2 (ja) | 動き補償フレーム間予測装置 | |
JP2798035B2 (ja) | 適応動きベクトル補間による動き補償フレーム間予測方法 | |
JP2798120B2 (ja) | 動き補償フレーム間予測方法及び動き補償フレーム間予測装置 | |
JP3847827B2 (ja) | 動きベクトル検出方法 | |
JP3621152B2 (ja) | 特徴点の特定装置及びその方法 | |
KR100995398B1 (ko) | 수직 및 수평 방향의 패턴을 고려한 전역 움직임 보상순차주사화 방법 | |
US8385602B2 (en) | Image processing device method, program, and recording medium for improving detection precision of a motion vector | |
JP2968838B2 (ja) | 画像列の動作を予測しかつ階層的コード化を行う方法及び装置 | |
US6912014B2 (en) | Image processing device and method, and recording medium | |
US20090167959A1 (en) | Image processing device and method, program, and recording medium | |
JP7161107B2 (ja) | 生成装置及びコンピュータプログラム | |
US5862262A (en) | Method of encoding a digital image using adaptive partitioning in an iterated transformation system | |
US20060098886A1 (en) | Efficient predictive image parameter estimation | |
JP2006148419A (ja) | 画像符号化装置,画像符号化方法,画像符号化プログラムおよびコンピュータ読み取り可能な記録媒体 | |
KR100208375B1 (ko) | 동화상 부호화 방법 및 장치 | |
KR100969420B1 (ko) | 프레임 레이트 변환 방법 | |
JP3513277B2 (ja) | 映像符号化装置及び映像復号化装置 | |
JPH0799661A (ja) | 動き補償予測装置 | |
JPH10243401A (ja) | 適応動きベクトル補間による動き補償フレーム間予測方法 | |
JP3700230B2 (ja) | 動画像符号化における動き補償方法 | |
JP4057503B2 (ja) | 解像度変換用フィルタ係数決定方法,画像解像度変換方法,画像解像度変換装置,映像再符号化方法,映像再符号化装置,解像度変換用フィルタ係数決定プログラム,画像解像度変換プログラム,映像再符号化プログラムおよびそれらのプログラムを記録した記録媒体 | |
JPH08242454A (ja) | グローバル動きパラメタ検出方法 | |
KR0147330B1 (ko) | 부분 표본화 방식과 교대적 패턴블록을 이용한 전역 검색 방법 | |
JPH08116541A (ja) | 画像符号化装置 | |
KR100706720B1 (ko) | 방향성 보간을 이용한 공간적 에러은닉 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19980603 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070703 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080703 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090703 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100703 Year of fee payment: 12 |