JP2798120B2 - 動き補償フレーム間予測方法及び動き補償フレーム間予測装置 - Google Patents
動き補償フレーム間予測方法及び動き補償フレーム間予測装置Info
- Publication number
- JP2798120B2 JP2798120B2 JP20008595A JP20008595A JP2798120B2 JP 2798120 B2 JP2798120 B2 JP 2798120B2 JP 20008595 A JP20008595 A JP 20008595A JP 20008595 A JP20008595 A JP 20008595A JP 2798120 B2 JP2798120 B2 JP 2798120B2
- Authority
- JP
- Japan
- Prior art keywords
- section
- representative point
- motion vector
- motion
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は動画像の符号化にお
いて、画面内に定められた複数個の代表点における動き
ベクトルから、画面内の全ての画素位置での動きベクト
ルを補間することにより、動画像の動き補償フレーム間
予測を行なう方法及び装置に関する。本発明は、特に、
代表点を結んで構成される区画に対し、代表点を適応的
に追加して区画の再分割を行う動き補償フレーム間予測
方法及び装置に関する。
いて、画面内に定められた複数個の代表点における動き
ベクトルから、画面内の全ての画素位置での動きベクト
ルを補間することにより、動画像の動き補償フレーム間
予測を行なう方法及び装置に関する。本発明は、特に、
代表点を結んで構成される区画に対し、代表点を適応的
に追加して区画の再分割を行う動き補償フレーム間予測
方法及び装置に関する。
【０００２】
【従来の技術】動画像の符号化に用いられる動き補償フ
レーム間予測の方法として、画面内に定められた複数個
の代表点における動きベクトルから、画面内の全ての画
素位置での動きベクトルを補間することで予測信号を生
成する方法が知られている。この方法では、あらかじめ
設定した代表点を結んで構成される区画に対し、代表点
を適応的に追加して区画の再分割を行うことで、予測効
率を改善できる。この方法の一例として、１９９４年電
子情報通信学会秋季大会Ｄ−１５１、「可変ブロックサ
イズ・ベクトル内挿動き補償方式」に記載の方法が知ら
れている。この方法では、画像をあらかじめ定めた大き
さの正方ブロックの区画に初期分割し、各ブロックの頂
点に代表点を設定する。次に、あらかじめ定めた基準に
よって選択された一部のブロックを、図９のように４等
分に再分割し、新たにできたブロックの頂点（図９の点
Ａ、Ｂ、Ｃ、Ｄ、Ｅ）に代表点を追加する。この方法に
より、代表点の配置密度を可変にすることができる。
レーム間予測の方法として、画面内に定められた複数個
の代表点における動きベクトルから、画面内の全ての画
素位置での動きベクトルを補間することで予測信号を生
成する方法が知られている。この方法では、あらかじめ
設定した代表点を結んで構成される区画に対し、代表点
を適応的に追加して区画の再分割を行うことで、予測効
率を改善できる。この方法の一例として、１９９４年電
子情報通信学会秋季大会Ｄ−１５１、「可変ブロックサ
イズ・ベクトル内挿動き補償方式」に記載の方法が知ら
れている。この方法では、画像をあらかじめ定めた大き
さの正方ブロックの区画に初期分割し、各ブロックの頂
点に代表点を設定する。次に、あらかじめ定めた基準に
よって選択された一部のブロックを、図９のように４等
分に再分割し、新たにできたブロックの頂点（図９の点
Ａ、Ｂ、Ｃ、Ｄ、Ｅ）に代表点を追加する。この方法に
より、代表点の配置密度を可変にすることができる。
【０００３】図１０に前記従来の方法の手順を示す。ま
ず代表点を画面内に設定し、代表点を結んで構成される
区画で画面を区画分けする（ステップ１０１）。例えば
図１１（ａ）のように正方格子の交点上に代表点を配置
し、画面を正方形ブロックの区画に分ける。次に前記代
表点での動きベクトルを検出する（ステップ１０２）。
検出された動きベクトルに従い、区画内部での動き補償
予測を行う（ステップ１０３）。すなわち区画内部の各
画素の動きベクトルを４頂点での動きベクトルから線形
補間により定め、予測信号を生成する。つぎに動き補償
予測の結果から区画の再分割を行うか否かを区画ごとに
判定する（ステップ２０７）。この際、例えば予測誤差
の大きさが、あらかじめ定めたしきい値より大きい場合
に再分割する。分割すると判定された区画には代表点を
追加して図１１（ｂ）のように分割する（ステップ２０
４）。前記追加代表点での動きベクトルを検出する（ス
テップ１０５）。最後に前記判定により選択された一部
の区画が再分割された状態で、画面全体の動き補償予測
を行う（ステップ２０６）。この最後の処理では実際に
は、図１１（ｃ）のように、すべての区画が再分割され
たものと仮定して、小区画ごとに動き補償予測を行う。
このとき小区画の頂点で、前記の代表点追加によって動
きベクトルが検出されていない位置の動きベクトルは、
始めに配置した代表点位置で検出された動きベクトルか
ら線形補間により計算して求めておく。
ず代表点を画面内に設定し、代表点を結んで構成される
区画で画面を区画分けする（ステップ１０１）。例えば
図１１（ａ）のように正方格子の交点上に代表点を配置
し、画面を正方形ブロックの区画に分ける。次に前記代
表点での動きベクトルを検出する（ステップ１０２）。
検出された動きベクトルに従い、区画内部での動き補償
予測を行う（ステップ１０３）。すなわち区画内部の各
画素の動きベクトルを４頂点での動きベクトルから線形
補間により定め、予測信号を生成する。つぎに動き補償
予測の結果から区画の再分割を行うか否かを区画ごとに
判定する（ステップ２０７）。この際、例えば予測誤差
の大きさが、あらかじめ定めたしきい値より大きい場合
に再分割する。分割すると判定された区画には代表点を
追加して図１１（ｂ）のように分割する（ステップ２０
４）。前記追加代表点での動きベクトルを検出する（ス
テップ１０５）。最後に前記判定により選択された一部
の区画が再分割された状態で、画面全体の動き補償予測
を行う（ステップ２０６）。この最後の処理では実際に
は、図１１（ｃ）のように、すべての区画が再分割され
たものと仮定して、小区画ごとに動き補償予測を行う。
このとき小区画の頂点で、前記の代表点追加によって動
きベクトルが検出されていない位置の動きベクトルは、
始めに配置した代表点位置で検出された動きベクトルか
ら線形補間により計算して求めておく。
【０００４】
【発明が解決しようとする課題】前記従来の方法では、
追加される代表点は、再分割前の区画の境界線上にも配
置される。このため、追加代表点の位置で検出される動
きベクトルは、隣接する区画の予測にも影響を与える。
例えば図１２のように、ある区画Ｋを再分割すると判定
した場合、その区画の辺上に追加される代表点Ｐでの動
きベクトルは、隣接する区画Ｌの網掛け部分の予測にも
影響を与える。そのため、区画単位に独立した予測処理
を行うことが困難であり、分割しないと判定された区画
でも、予測をやり直す必要があった。
追加される代表点は、再分割前の区画の境界線上にも配
置される。このため、追加代表点の位置で検出される動
きベクトルは、隣接する区画の予測にも影響を与える。
例えば図１２のように、ある区画Ｋを再分割すると判定
した場合、その区画の辺上に追加される代表点Ｐでの動
きベクトルは、隣接する区画Ｌの網掛け部分の予測にも
影響を与える。そのため、区画単位に独立した予測処理
を行うことが困難であり、分割しないと判定された区画
でも、予測をやり直す必要があった。
【０００５】本発明の課題は、区画の再分割の影響を区
画内部に留め、区画単位に独立した予測処理を実現可能
とした動き補償フレーム間予測方法を提供することにあ
る。
画内部に留め、区画単位に独立した予測処理を実現可能
とした動き補償フレーム間予測方法を提供することにあ
る。
【０００６】本発明の別の課題は、区画の再分割の影響
を区画内部に留め、区画単位に独立した予測処理を実現
可能とした動き補償フレーム間予測装置を提供すること
にある。
を区画内部に留め、区画単位に独立した予測処理を実現
可能とした動き補償フレーム間予測装置を提供すること
にある。
【０００７】
【課題を解決するための手段】本発明によれば、動画像
信号にて表される画面内に複数個の代表点を設定し、こ
れら代表点を結んで区画を構成するステップと、前記複
数個の代表点における動きベクトルを代表点動きベクト
ルとして検出するステップと、前記代表点動きベクトル
から、前記区画内部の全ての画素位置での動きベクトル
を補間することにより、区間内部での動き補償予測を行
なうステップとを含む動き補償フレーム間予測方法にお
いて、前記区画どうしの境界線上を除くそれぞれの区画
の内部だけに追加代表点を適応的に追加設定し、該追加
代表点の各々と当該追加代表点を囲む前記代表点とを結
んで小区画を構成するステップと、前記追加代表点にお
ける動きベクトルを追加代表点動きベクトルとして検出
するステップと、前記追加代表点動きベクトル及び前記
代表点動きベクトルから、前記小区画内部の全ての画素
位置での動きベクトルを補間することにより、小区画内
部での動き補償予測を行なうステップとを更に含むこと
を特徴とする動き補償フレーム間予測方法が得られる。
信号にて表される画面内に複数個の代表点を設定し、こ
れら代表点を結んで区画を構成するステップと、前記複
数個の代表点における動きベクトルを代表点動きベクト
ルとして検出するステップと、前記代表点動きベクトル
から、前記区画内部の全ての画素位置での動きベクトル
を補間することにより、区間内部での動き補償予測を行
なうステップとを含む動き補償フレーム間予測方法にお
いて、前記区画どうしの境界線上を除くそれぞれの区画
の内部だけに追加代表点を適応的に追加設定し、該追加
代表点の各々と当該追加代表点を囲む前記代表点とを結
んで小区画を構成するステップと、前記追加代表点にお
ける動きベクトルを追加代表点動きベクトルとして検出
するステップと、前記追加代表点動きベクトル及び前記
代表点動きベクトルから、前記小区画内部の全ての画素
位置での動きベクトルを補間することにより、小区画内
部での動き補償予測を行なうステップとを更に含むこと
を特徴とする動き補償フレーム間予測方法が得られる。
【０００８】更に本発明によれば、区間内部での動き補
償予測を行なうステップは、前記代表点動きベクトルか
ら、前記区画内部の全ての画素位置での動きベクトルを
補間により定めて第１の予測信号を生成するものであ
り、前記小区間内部での動き補償予測を行なうステップ
は、前記追加代表点動きベクトル及び前記代表点動きベ
クトルから、前記小区画内部の全ての画素位置での動き
ベクトルを補間により定めて第２の予測信号を生成する
ものであることを特徴とする動き補償フレーム間予測方
法が得られる。
償予測を行なうステップは、前記代表点動きベクトルか
ら、前記区画内部の全ての画素位置での動きベクトルを
補間により定めて第１の予測信号を生成するものであ
り、前記小区間内部での動き補償予測を行なうステップ
は、前記追加代表点動きベクトル及び前記代表点動きベ
クトルから、前記小区画内部の全ての画素位置での動き
ベクトルを補間により定めて第２の予測信号を生成する
ものであることを特徴とする動き補償フレーム間予測方
法が得られる。
【０００９】また本発明によれば、前記第１の予測信号
と前記第２の予測信号とを比較し、適応的に区画の再分
割を行う区画を選択するステップを更に含むことを特徴
とする動き補償フレーム間予測方法が得られる。
と前記第２の予測信号とを比較し、適応的に区画の再分
割を行う区画を選択するステップを更に含むことを特徴
とする動き補償フレーム間予測方法が得られる。
【００１０】更に本発明によれば、動画像信号にて表さ
れる画面内に複数個の代表点を設定し、これら代表点を
結んで区画を構成する第１の手段と、前記複数個の代表
点における動きベクトルを代表点動きベクトルとして検
出する第２の手段と、前記代表点動きベクトルから、前
記区画内部の全ての画素位置での動きベクトルを補間す
ることにより、区間内部での動き補償予測を行なう第３
の手段とを含む動き補償フレーム間予測装置において、
前記区画どうしの境界線上を除くそれぞれの区画の内部
だけに追加代表点を適応的に追加設定し、該追加代表点
の各々と当該追加代表点を囲む前記代表点とを結んで小
区画を構成する第４の手段と、前記追加代表点における
動きベクトルを追加代表点動きベクトルとして検出する
第５の手段と、前記追加代表点動きベクトル及び前記代
表点動きベクトルから、前記小区画内部の全ての画素位
置での動きベクトルを補間することにより、小区画内部
での動き補償予測を行なう第６の手段とを更に含むこと
を特徴とする動き補償フレーム間予測装置が得られる。
れる画面内に複数個の代表点を設定し、これら代表点を
結んで区画を構成する第１の手段と、前記複数個の代表
点における動きベクトルを代表点動きベクトルとして検
出する第２の手段と、前記代表点動きベクトルから、前
記区画内部の全ての画素位置での動きベクトルを補間す
ることにより、区間内部での動き補償予測を行なう第３
の手段とを含む動き補償フレーム間予測装置において、
前記区画どうしの境界線上を除くそれぞれの区画の内部
だけに追加代表点を適応的に追加設定し、該追加代表点
の各々と当該追加代表点を囲む前記代表点とを結んで小
区画を構成する第４の手段と、前記追加代表点における
動きベクトルを追加代表点動きベクトルとして検出する
第５の手段と、前記追加代表点動きベクトル及び前記代
表点動きベクトルから、前記小区画内部の全ての画素位
置での動きベクトルを補間することにより、小区画内部
での動き補償予測を行なう第６の手段とを更に含むこと
を特徴とする動き補償フレーム間予測装置が得られる。
【００１１】また本発明によれば、前記第３の手段は、
前記代表点動きベクトルから、前記区画内部の全ての画
素位置での動きベクトルを補間により定めて第１の予測
信号を生成するものであり、前記第６の手段は、前記追
加代表点動きベクトル及び前記代表点動きベクトルか
ら、前記小区画内部の全ての画素位置での動きベクトル
を補間により定めて第２の予測信号を生成するものであ
ることを特徴とする動き補償フレーム間予測装置が得ら
れる。
前記代表点動きベクトルから、前記区画内部の全ての画
素位置での動きベクトルを補間により定めて第１の予測
信号を生成するものであり、前記第６の手段は、前記追
加代表点動きベクトル及び前記代表点動きベクトルか
ら、前記小区画内部の全ての画素位置での動きベクトル
を補間により定めて第２の予測信号を生成するものであ
ることを特徴とする動き補償フレーム間予測装置が得ら
れる。
【００１２】更に本発明によれば、前記第１の予測信号
と前記第２の予測信号とを比較し、適応的に区画の再分
割を行う区画を選択する手段を更に含むことを特徴とす
る動き補償フレーム間予測装置が得られる。
と前記第２の予測信号とを比較し、適応的に区画の再分
割を行う区画を選択する手段を更に含むことを特徴とす
る動き補償フレーム間予測装置が得られる。
【００１３】また本発明によれば、動画像の符号化に際
し、画面内に定められた複数個の代表点における動きベ
クトルから、画面内の全ての画素位置での動きベクトル
を補間することで、動き補償フレーム間予測を行なう方
法において、画面上にあらかじめ定めた配置で複数個の
代表点を設定し、前記代表点を結んで区画を構成し、前
記区画どうしの境界線上を除くそれぞれの区画の内部だ
けに、代表点を適応的に追加設定することで、代表点の
配置密度を可変とすることを特徴とする動き補償フレー
ム間予測方法が得られる。
し、画面内に定められた複数個の代表点における動きベ
クトルから、画面内の全ての画素位置での動きベクトル
を補間することで、動き補償フレーム間予測を行なう方
法において、画面上にあらかじめ定めた配置で複数個の
代表点を設定し、前記代表点を結んで区画を構成し、前
記区画どうしの境界線上を除くそれぞれの区画の内部だ
けに、代表点を適応的に追加設定することで、代表点の
配置密度を可変とすることを特徴とする動き補償フレー
ム間予測方法が得られる。
【００１４】
【発明の実施の形態】次に本発明の実施例について図面
を参照して説明する。
を参照して説明する。
【００１５】図１に本発明の一実施例による動き補償フ
レーム間予測方法における処理手順を示す。まず代表点
を画面内に設定し、代表点を結んで構成される区画で画
面を区画分けする（ステップ１０１）。例えば図２
（ａ）のように画面を正方形の区画に分け、正方格子の
交点上に代表点を配置する。次に前記代表点での動きベ
クトルを検出する（ステップ１０２）。前記検出された
動きベクトルに従い、区画内部での動き補償予測を行う
（ステップ１０３）。動き補償では区画内部の各画素の
動きベクトルを、４頂点での動きベクトルから線形補間
により定めて予測信号を生成する。次にそれぞれの区画
に図３（ｃ）のように代表点を追加代表点として追加
し、小区画に分割する（ステップ１０４）。そして、前
記追加代表点での動きベクトルを検出する（ステップ１
０５）。ここで、区画を再分割した場合の動き補償予測
を行い（ステップ１０６）、その予測誤差と再分割する
前の予測誤差とを比較し、適応的に再分割を行う区画を
選択する（ステップ１０７）。たとえば図２（ｂ）のよ
うに区画の再分割が適応的に行われる。
レーム間予測方法における処理手順を示す。まず代表点
を画面内に設定し、代表点を結んで構成される区画で画
面を区画分けする（ステップ１０１）。例えば図２
（ａ）のように画面を正方形の区画に分け、正方格子の
交点上に代表点を配置する。次に前記代表点での動きベ
クトルを検出する（ステップ１０２）。前記検出された
動きベクトルに従い、区画内部での動き補償予測を行う
（ステップ１０３）。動き補償では区画内部の各画素の
動きベクトルを、４頂点での動きベクトルから線形補間
により定めて予測信号を生成する。次にそれぞれの区画
に図３（ｃ）のように代表点を追加代表点として追加
し、小区画に分割する（ステップ１０４）。そして、前
記追加代表点での動きベクトルを検出する（ステップ１
０５）。ここで、区画を再分割した場合の動き補償予測
を行い（ステップ１０６）、その予測誤差と再分割する
前の予測誤差とを比較し、適応的に再分割を行う区画を
選択する（ステップ１０７）。たとえば図２（ｂ）のよ
うに区画の再分割が適応的に行われる。
【００１６】図４に上記実施例による動き補償フレーム
間予測方法を実施するための動き補償フレーム間予測装
置を示す。代表点配置設定手段３０１は、基本となる代
表点配置を設定し、設定された代表点位置を示す代表点
位置情報３を出力する。動きベクトル検出手段３０２
は、代表点位置情報３で示された代表点位置での動きベ
クトルを入力画像１および参照画像２を用いて検出し、
検出動きベクトルを表す動きベクトル情報４を出力す
る。区画領域指定手段３０３は、代表点位置情報３で示
された代表点を結んで構成される区画を順番に指定する
区画領域情報５を出力する。指定区画動き補償予測手段
３０４は、区画領域情報５によって指定された区画ごと
に、動きベクトル情報４にて表された検出動きベクトル
に基づき、動き補償予測を行ない、参照画像２から予測
信号１０を生成し予測誤差８と併せて出力する。また、
代表点追加手段３０５は、区画領域情報５によって指定
された区画内部に追加代表点を追加し、追加代表点位置
を示す追加代表点位置情報６を出力する。追加代表点動
きベクトル検出手段３０６は、追加代表点位置情報６で
示された追加代表点位置での動きベクトルを入力画像１
および参照画像２を用いて検出し、検出動きベクトルを
表す追加代表点動きベクトル情報７を出力する。指定区
間分割時動き補償予測手段３０７は、区画領域情報５に
よって指定された区画ごとに、追加代表点動きベクトル
情報７にて表された検出動きベクトルに基づき、動き補
償予測を行ない（即ち、指定した区画に代表点を追加し
て分割した時の動き補償フレーム間予測を行ない）、参
照画像２から予測信号１１を生成し予測誤差９と併せて
出力する。適応区画分割判定手段３０８は、指定した区
画を分割した場合の予測誤差８と、分割しない場合の予
測誤差９とを比較し、分割する否かを判定し、判定結果
として、分割する否かを表す区画判定モード１２を出力
する。予測信号選択手段３０９は、区画判定モード１２
で表された判定結果が分割を示している時、分割した場
合の予測信号１１を選択予測信号１３として選択して出
力し、区画判定モード１２で表された判定結果が非分割
を示している時、分割しなかった場合の予測信号１０を
選択予測信号１３として選択して出力する。追加代表点
情報選択出力手段３１０は、区画判定モード１２で表さ
れた判定結果が分割を示している時にのみ追加代表点位
置情報６とその位置での追加代表点動きベクトル情報７
を追加代表点情報１４として出力する。なお、追加代表
点位置を予め定めた位置に設定するようにすることも可
能であり、この場合は追加代表点情報１４を出力する必
要はない。
間予測方法を実施するための動き補償フレーム間予測装
置を示す。代表点配置設定手段３０１は、基本となる代
表点配置を設定し、設定された代表点位置を示す代表点
位置情報３を出力する。動きベクトル検出手段３０２
は、代表点位置情報３で示された代表点位置での動きベ
クトルを入力画像１および参照画像２を用いて検出し、
検出動きベクトルを表す動きベクトル情報４を出力す
る。区画領域指定手段３０３は、代表点位置情報３で示
された代表点を結んで構成される区画を順番に指定する
区画領域情報５を出力する。指定区画動き補償予測手段
３０４は、区画領域情報５によって指定された区画ごと
に、動きベクトル情報４にて表された検出動きベクトル
に基づき、動き補償予測を行ない、参照画像２から予測
信号１０を生成し予測誤差８と併せて出力する。また、
代表点追加手段３０５は、区画領域情報５によって指定
された区画内部に追加代表点を追加し、追加代表点位置
を示す追加代表点位置情報６を出力する。追加代表点動
きベクトル検出手段３０６は、追加代表点位置情報６で
示された追加代表点位置での動きベクトルを入力画像１
および参照画像２を用いて検出し、検出動きベクトルを
表す追加代表点動きベクトル情報７を出力する。指定区
間分割時動き補償予測手段３０７は、区画領域情報５に
よって指定された区画ごとに、追加代表点動きベクトル
情報７にて表された検出動きベクトルに基づき、動き補
償予測を行ない（即ち、指定した区画に代表点を追加し
て分割した時の動き補償フレーム間予測を行ない）、参
照画像２から予測信号１１を生成し予測誤差９と併せて
出力する。適応区画分割判定手段３０８は、指定した区
画を分割した場合の予測誤差８と、分割しない場合の予
測誤差９とを比較し、分割する否かを判定し、判定結果
として、分割する否かを表す区画判定モード１２を出力
する。予測信号選択手段３０９は、区画判定モード１２
で表された判定結果が分割を示している時、分割した場
合の予測信号１１を選択予測信号１３として選択して出
力し、区画判定モード１２で表された判定結果が非分割
を示している時、分割しなかった場合の予測信号１０を
選択予測信号１３として選択して出力する。追加代表点
情報選択出力手段３１０は、区画判定モード１２で表さ
れた判定結果が分割を示している時にのみ追加代表点位
置情報６とその位置での追加代表点動きベクトル情報７
を追加代表点情報１４として出力する。なお、追加代表
点位置を予め定めた位置に設定するようにすることも可
能であり、この場合は追加代表点情報１４を出力する必
要はない。
【００１７】以下では、各処理手段を個別に説明する。
【００１８】代表点配置設定手段３０１では、画像内の
あらかじめ定めた位置に代表点を配置する。当該手段に
おいて設定される代表点の配置の例を図５に示す。図５
（ａ）及び（ｂ）は矩形ブロックの頂点に代表点を配置
した例である。代表点を結んで構成される区画分けは、
図５（ａ）のように、４角形でもよいし、図５（ｂ）の
ように４角形に対角線を追加した３角形としてもよい。
あるいは図５（ｃ）のような３角形の格子状に代表点を
配置してもよいし、図５（ｄ）のように６角形の格子状
に代表点配置をしてもよい。また、上記に述べた方法で
配置した代表点位置を初期配置とし、さらに修正処理を
加えて変形させた区画構造を持った配置を用いてもよ
い。例えば図５（ｅ）のように、画面から輪郭線を検出
し、区画の境界線が検出輪郭に適合するように、代表点
位置を修正しておいてもよい。
あらかじめ定めた位置に代表点を配置する。当該手段に
おいて設定される代表点の配置の例を図５に示す。図５
（ａ）及び（ｂ）は矩形ブロックの頂点に代表点を配置
した例である。代表点を結んで構成される区画分けは、
図５（ａ）のように、４角形でもよいし、図５（ｂ）の
ように４角形に対角線を追加した３角形としてもよい。
あるいは図５（ｃ）のような３角形の格子状に代表点を
配置してもよいし、図５（ｄ）のように６角形の格子状
に代表点配置をしてもよい。また、上記に述べた方法で
配置した代表点位置を初期配置とし、さらに修正処理を
加えて変形させた区画構造を持った配置を用いてもよ
い。例えば図５（ｅ）のように、画面から輪郭線を検出
し、区画の境界線が検出輪郭に適合するように、代表点
位置を修正しておいてもよい。
【００１９】なお以下の説明では、主に３角形の区画を
使って動き補償フレーム間予測を行なう方法について説
明するが、区画の形状はこれよりも頂点数の多い多角形
でもよく、３角形だけに限られない。
使って動き補償フレーム間予測を行なう方法について説
明するが、区画の形状はこれよりも頂点数の多い多角形
でもよく、３角形だけに限られない。
【００２０】動きベクトル検出手段３０２における、代
表点での動きベクトル検出の方法について説明する。動
きベクトル検出には、ブロック・マッチング法を用いる
ことができる。マッチングの対象領域には固定サイズの
矩形ブロックを用いることができる。また、代表点位置
をフレーム間で追跡してマッチングをとる場合には、代
表点近傍ほど重み付けしたブロック・マッチングを用い
ることもできる。たとえば、代表点の位置を（ｘ0 ，ｙ
0 ）とし、マッチング評価範囲Ｒを数１式によって表わ
されるとしたとき、評価位置（ｘ，ｙ）での重みｗは、
数２式と定義する。
表点での動きベクトル検出の方法について説明する。動
きベクトル検出には、ブロック・マッチング法を用いる
ことができる。マッチングの対象領域には固定サイズの
矩形ブロックを用いることができる。また、代表点位置
をフレーム間で追跡してマッチングをとる場合には、代
表点近傍ほど重み付けしたブロック・マッチングを用い
ることもできる。たとえば、代表点の位置を（ｘ0 ，ｙ
0 ）とし、マッチング評価範囲Ｒを数１式によって表わ
されるとしたとき、評価位置（ｘ，ｙ）での重みｗは、
数２式と定義する。
【００２１】
【数１】
【００２２】
【数２】 ここでｂｓは数３式で表わされる。
【００２３】
【数３】 重み付けの方法としては、マッチング評価範囲の領域で
任意の重み係数マップを設定することができ、ここに述
べた方法に限られない。
任意の重み係数マップを設定することができ、ここに述
べた方法に限られない。
【００２４】動きベクトル検出は、所定の候補ベクトル
から、マッチング予測誤差が最小となるベクトルを選択
する。すなわち、ある候補ベクトル（ｖx ，ｖy ）を選
んだときの予測誤差量Ｅrr（ｖx ，ｖy ）は、現在フレ
ーム画像をＣ（ｘ，ｙ）、参照フレーム画像をＰ（ｘ，
ｙ）とすると、数４式で評価する。
から、マッチング予測誤差が最小となるベクトルを選択
する。すなわち、ある候補ベクトル（ｖx ，ｖy ）を選
んだときの予測誤差量Ｅrr（ｖx ，ｖy ）は、現在フレ
ーム画像をＣ（ｘ，ｙ）、参照フレーム画像をＰ（ｘ，
ｙ）とすると、数４式で評価する。
【００２５】
【数４】 評価は計算の負荷軽減のために２乗和ではなく絶対値和
を用いて、以下の数５式のように計算してもよい。
を用いて、以下の数５式のように計算してもよい。
【００２６】
【数５】 あるいは、３角形の区画を用いている場合には、上記ブ
ロック・マッチングの評価対象領域として、注目代表点
に隣接する３角形の区画領域を結合した６角形領域を使
うことができる。ただし、画面周辺部では６角形とは限
らない。
ロック・マッチングの評価対象領域として、注目代表点
に隣接する３角形の区画領域を結合した６角形領域を使
うことができる。ただし、画面周辺部では６角形とは限
らない。
【００２７】さらに、マッチング法で検出した動きベク
トルを予測結果を参照して再修正することも可能であ
る。例えば、マッチング法で検出した動きベクトルを中
心として動きベクトルの再探索範囲を設定する。再探索
範囲内の候補ベクトルに対し、注目代表点に隣接する全
ての区画領域における動き補償予測誤差を評価し、誤差
が最小となる候補ベクトルを動きベクトルとして検出す
る。
トルを予測結果を参照して再修正することも可能であ
る。例えば、マッチング法で検出した動きベクトルを中
心として動きベクトルの再探索範囲を設定する。再探索
範囲内の候補ベクトルに対し、注目代表点に隣接する全
ての区画領域における動き補償予測誤差を評価し、誤差
が最小となる候補ベクトルを動きベクトルとして検出す
る。
【００２８】区画領域指定手段３０３における、領域指
定方法について説明する。区画の指定は、初期代表点位
置の設定によって定められた区画を、あらかじめ決めた
順序で指定していく。例えば、上段の区画から下段の区
画へ、ある段では左から右へという順に指定すればよ
い。指定パッチの位置情報としては、該区画の頂点位置
座標を接続順に出力してやればよく、これにより区画内
部の画素を指定することができる。
定方法について説明する。区画の指定は、初期代表点位
置の設定によって定められた区画を、あらかじめ決めた
順序で指定していく。例えば、上段の区画から下段の区
画へ、ある段では左から右へという順に指定すればよ
い。指定パッチの位置情報としては、該区画の頂点位置
座標を接続順に出力してやればよく、これにより区画内
部の画素を指定することができる。
【００２９】指定区画動き補償予測手段３０４では、指
定された区画内部の動き補償予測信号を生成する。３角
形の区画を用いている場合には、まず区画領域情報か
ら、３角形の区画を生成する。３つの頂点の動きベクト
ルから、区画内部の各画素の動きベクトルを線形補間で
求める。例えば図６のように、ある３角形ＡＢＣの内部
の点Ｐにおける動きベクトルｖP は、３つの頂点での動
きベクトルｖA ，ｖB ，ｖC から、数６式により求める
ことができる。
定された区画内部の動き補償予測信号を生成する。３角
形の区画を用いている場合には、まず区画領域情報か
ら、３角形の区画を生成する。３つの頂点の動きベクト
ルから、区画内部の各画素の動きベクトルを線形補間で
求める。例えば図６のように、ある３角形ＡＢＣの内部
の点Ｐにおける動きベクトルｖP は、３つの頂点での動
きベクトルｖA ，ｖB ，ｖC から、数６式により求める
ことができる。
【００３０】
【数６】 このように区画内部の全ての画素位置での動きベクトル
を補間し、画素毎に動き補償位置を求める。
を補間し、画素毎に動き補償位置を求める。
【００３１】画素毎の動き補償位置を求める別の方法を
図７を用いて説明する。この方法では、フレーム間で対
応する３角形の区画間でマッピングをとり、対応をアフ
ィン変換で表現する。この方法によれば、まず、注目す
る３角形の区画について、対応する３組の頂点位置の関
係から、アフィン変換パラメータを計算する。３角形内
部の画素の動き補償位置は、前記アフィン変換パラメー
タから算出する。
図７を用いて説明する。この方法では、フレーム間で対
応する３角形の区画間でマッピングをとり、対応をアフ
ィン変換で表現する。この方法によれば、まず、注目す
る３角形の区画について、対応する３組の頂点位置の関
係から、アフィン変換パラメータを計算する。３角形内
部の画素の動き補償位置は、前記アフィン変換パラメー
タから算出する。
【００３２】アフィン変換を利用する場合の、動き補償
位置の計算法について説明する。２次元のアフィン変換
は数７式のように６つのパラメータａ〜ｆにより、ある
位置（ｘ，ｙ）に対応した参照画像上の動き補償位置
（ｘ′，ｙ′）を表現する。
位置の計算法について説明する。２次元のアフィン変換
は数７式のように６つのパラメータａ〜ｆにより、ある
位置（ｘ，ｙ）に対応した参照画像上の動き補償位置
（ｘ′，ｙ′）を表現する。
【００３３】
【数７】 ここで、ある３角形の３頂点の位置を（ｘ1 ，ｙ1 ），
（ｘ2 ，ｙ2 ），（ｘ3 ，ｙ3 ）とし、この３角形に対
応する参照画像上での３頂点の位置を（ｘ′1，
ｙ′1 ），（ｘ′2 ，ｙ′2 ），（ｘ′3 ，ｙ′3 ）と
すると、数８式が成立する。
（ｘ2 ，ｙ2 ），（ｘ3 ，ｙ3 ）とし、この３角形に対
応する参照画像上での３頂点の位置を（ｘ′1，
ｙ′1 ），（ｘ′2 ，ｙ′2 ），（ｘ′3 ，ｙ′3 ）と
すると、数８式が成立する。
【００３４】
【数８】 この式を以下の数９式のように解くことによりパラメー
タを計算することができる。
タを計算することができる。
【００３５】
【数９】 ３角形内部の画素の動き補償位置は、求めたアフィン変
換パラメータから上述した数式７により計算する。
換パラメータから上述した数式７により計算する。
【００３６】また、長方形の区画を用いる場合には、区
画内部の画素位置での動きベクトルは、４つの頂点の動
きベクトルから、区画内部の各画素の動きベクトルを線
形補間で求める。例えば図８のように、ある長方形ＡＢ
ＤＣの内部の点Ｐにおける動きベクトルｖP は、４つの
頂点での動きベクトルｖA ，ｖB ，ｖC ，ｖD から、下
記の数１０式により求めることができる。
画内部の画素位置での動きベクトルは、４つの頂点の動
きベクトルから、区画内部の各画素の動きベクトルを線
形補間で求める。例えば図８のように、ある長方形ＡＢ
ＤＣの内部の点Ｐにおける動きベクトルｖP は、４つの
頂点での動きベクトルｖA ，ｖB ，ｖC ，ｖD から、下
記の数１０式により求めることができる。
【００３７】
【数１０】 ６角形の区画を用いる場合には、特開平６−３２７００
０号公報「動き補償方法」に記載の方法を使うことがで
きる。この方法によれば、参照画像から入力画像への対
応づけを６つの頂点における動きベクトルから２次変換
により定義することで、区画内部の各画素位置での動き
ベクトルを求める。
０号公報「動き補償方法」に記載の方法を使うことがで
きる。この方法によれば、参照画像から入力画像への対
応づけを６つの頂点における動きベクトルから２次変換
により定義することで、区画内部の各画素位置での動き
ベクトルを求める。
【００３８】上記のようにして画素毎に動き補償位置を
求め、参照画像上の前記動き補償位置での画素値をフレ
ーム間予測値とする。参照画像上でサンプル点上にない
画素の値は、線形補間により計算する。補間は（ｘ′，
ｙ′）での画素値をＰ（ｘ′，ｙ′）とし、ｘ0 ＝
［ｘ′］、ｙ0 ＝［ｙ′］、α＝ｘ′−［ｘ′］、β＝
ｙ′−［ｙ′］とおいて、数１１式により計算する。
求め、参照画像上の前記動き補償位置での画素値をフレ
ーム間予測値とする。参照画像上でサンプル点上にない
画素の値は、線形補間により計算する。補間は（ｘ′，
ｙ′）での画素値をＰ（ｘ′，ｙ′）とし、ｘ0 ＝
［ｘ′］、ｙ0 ＝［ｙ′］、α＝ｘ′−［ｘ′］、β＝
ｙ′−［ｙ′］とおいて、数１１式により計算する。
【００３９】
【数１１】 ここで、［ｘ］はｘを越えない最大の整数を示す。
【００４０】このように区画内の全ての画素位置での予
測値を計算し、区画内の予測信号を生成して出力する。
測値を計算し、区画内の予測信号を生成して出力する。
【００４１】代表点追加手段３０５では、指定区画を再
分割するときに、追加すべき代表点位置を設定する。例
えば３角形の区画を使う場合には、図３（ａ）のよう
に、３角形の内部のあらかじめ定めた位置に代表点を追
加し、追加代表点と３角形区画の頂点をそれぞれ結合し
た線分で分割すればよい。あるいは図３（ｂ）のよう
に、追加代表点と各辺の中点とをそれぞれ結合した線分
による分割を追加してもよい。このとき各辺の中点にお
ける動きベクトルは、辺の両端の代表点から線形補間さ
れた値を使うことで、隣接区画との動きベクトルの連続
性を損なわずに再分割できる。
分割するときに、追加すべき代表点位置を設定する。例
えば３角形の区画を使う場合には、図３（ａ）のよう
に、３角形の内部のあらかじめ定めた位置に代表点を追
加し、追加代表点と３角形区画の頂点をそれぞれ結合し
た線分で分割すればよい。あるいは図３（ｂ）のよう
に、追加代表点と各辺の中点とをそれぞれ結合した線分
による分割を追加してもよい。このとき各辺の中点にお
ける動きベクトルは、辺の両端の代表点から線形補間さ
れた値を使うことで、隣接区画との動きベクトルの連続
性を損なわずに再分割できる。
【００４２】４角形の区画を使う場合には、例えば図３
（ｃ）のように、対角線の交点に代表点を追加し、対角
線で４つの３角形に分割すればよい。あるいは図３
（ｄ）のように、２組のみ対辺の中点を結んだ直線の交
点に代表点を追加し、４つの４角形に分割してもよい。
この場合も３角形の場合と同様に、各辺の中点における
動きベクトルには、辺の両端の代表点から線形補間され
た値を使うことで、隣接区画との動きベクトルの連続性
を損なわずに再分割できる。また、図３（ｅ）、（ｆ）
のように分割線を追加して、さらに８つの小３角形に再
分割することも可能である。
（ｃ）のように、対角線の交点に代表点を追加し、対角
線で４つの３角形に分割すればよい。あるいは図３
（ｄ）のように、２組のみ対辺の中点を結んだ直線の交
点に代表点を追加し、４つの４角形に分割してもよい。
この場合も３角形の場合と同様に、各辺の中点における
動きベクトルには、辺の両端の代表点から線形補間され
た値を使うことで、隣接区画との動きベクトルの連続性
を損なわずに再分割できる。また、図３（ｅ）、（ｆ）
のように分割線を追加して、さらに８つの小３角形に再
分割することも可能である。
【００４３】６角形の区画を使う場合も同様に、図３
（ｇ）のように、６角形の中心位置に代表点を追加し、
追加代表点と６角形区画の頂点をそれぞれ結合した線分
で分割すればよい。
（ｇ）のように、６角形の中心位置に代表点を追加し、
追加代表点と６角形区画の頂点をそれぞれ結合した線分
で分割すればよい。
【００４４】上記の実施例では、代表点を１つだけ追加
する例について述べたが、複数個の代表点を追加しても
構わない。例えば図３（ｈ）のように２つの代表点を追
加して分割してもよい。
する例について述べたが、複数個の代表点を追加しても
構わない。例えば図３（ｈ）のように２つの代表点を追
加して分割してもよい。
【００４５】これまでの説明では追加代表点位置は、あ
らかじめ定められた位置に配置手順に従い配置していた
が、任意の位置に配置してもよい。配置位置の決定方法
としては、区画内で特徴点検出を行ない、最も特徴量の
大きい値を示す位置に代表点を設定する方法や、区画内
で輪郭線検出を行ない、再分割したときの分割線が最も
輪郭線の適合する位置に追加代表点を設定する、などの
方法で実現できる。また、複数個の代表点位置候補にお
ける動き補償予測誤差量を評価して、予測誤差の最小と
なるものを選ぶ方法を用いてもよい。例えば、図３
（ｄ）の配置位置を変更した場合には、図３（ｉ）及び
（ｊ）などの形態になる。
らかじめ定められた位置に配置手順に従い配置していた
が、任意の位置に配置してもよい。配置位置の決定方法
としては、区画内で特徴点検出を行ない、最も特徴量の
大きい値を示す位置に代表点を設定する方法や、区画内
で輪郭線検出を行ない、再分割したときの分割線が最も
輪郭線の適合する位置に追加代表点を設定する、などの
方法で実現できる。また、複数個の代表点位置候補にお
ける動き補償予測誤差量を評価して、予測誤差の最小と
なるものを選ぶ方法を用いてもよい。例えば、図３
（ｄ）の配置位置を変更した場合には、図３（ｉ）及び
（ｊ）などの形態になる。
【００４６】追加代表点位置動きベクトル検出手段３０
６では、追加された代表点位置での動きベクトルを検出
する。検出の方法としては、動きベクトル検出手段３０
２で用いた手法と同様に、ブロックマッチング方法で用
いることができる。あるいは、複数個の動きベクトル候
補における動き補償予測誤差量を評価して、予測誤差が
最小のなるものを選ぶという方法を用いてもよい。
６では、追加された代表点位置での動きベクトルを検出
する。検出の方法としては、動きベクトル検出手段３０
２で用いた手法と同様に、ブロックマッチング方法で用
いることができる。あるいは、複数個の動きベクトル候
補における動き補償予測誤差量を評価して、予測誤差が
最小のなるものを選ぶという方法を用いてもよい。
【００４７】指定区画分割時動き補償手段３０７では、
分割小区画ごとに、頂点位置の動きベクトルを用いて、
分割小区画内部の各画素位置での動きベクトルを補間し
て動き補償予測を行なう。動きベクトルの補間方法は、
指定区画動き補償予測手段３０４ですでに述べた方法に
したがって実現できる。最後に、それぞれの分割小区画
の予測信号を統合して、指定区画内全体の分割時の予測
信号を生成する。
分割小区画ごとに、頂点位置の動きベクトルを用いて、
分割小区画内部の各画素位置での動きベクトルを補間し
て動き補償予測を行なう。動きベクトルの補間方法は、
指定区画動き補償予測手段３０４ですでに述べた方法に
したがって実現できる。最後に、それぞれの分割小区画
の予測信号を統合して、指定区画内全体の分割時の予測
信号を生成する。
【００４８】適応区画分割判定手段３０８では、指定区
画を分割した場合の予測誤差と、分割しない場合の予測
誤差とを比較して、分割するかしないかを判定する。分
割する場合には、追加代表点の動きベクトルや、位置を
任意に指定できる場合にはその位置情報などの付加符号
量が発生する。そのため、実際の判定方法としては、付
加符号量の増加に見合うだけの予測性能の改善があると
思われる場合だけ、再分割を行なうことにする。具体的
には、区画内の画素あたり平均２乗予測誤差を計算し、
改善量があらかじめ指定したしきい値以上あれば再分割
を行う方法を使うことができる。
画を分割した場合の予測誤差と、分割しない場合の予測
誤差とを比較して、分割するかしないかを判定する。分
割する場合には、追加代表点の動きベクトルや、位置を
任意に指定できる場合にはその位置情報などの付加符号
量が発生する。そのため、実際の判定方法としては、付
加符号量の増加に見合うだけの予測性能の改善があると
思われる場合だけ、再分割を行なうことにする。具体的
には、区画内の画素あたり平均２乗予測誤差を計算し、
改善量があらかじめ指定したしきい値以上あれば再分割
を行う方法を使うことができる。
【００４９】予測値選択手段３０９では、再分割するか
否かの情報に基づいて、指定区画の予測信号を選択す
る。すなわち、再分割すると判定された場合は、分割時
の予測信号を選択して出力し、再分割しないと判定した
場合は、分割せずに予測した場合の予測信号を選択して
出力する。
否かの情報に基づいて、指定区画の予測信号を選択す
る。すなわち、再分割すると判定された場合は、分割時
の予測信号を選択して出力し、再分割しないと判定した
場合は、分割せずに予測した場合の予測信号を選択して
出力する。
【００５０】追加代表点情報選択手段３１０では、再分
割するか否かの情報に基づいて、追加代表点情報を選択
して出力する。すなわち、再分割すると判定された場合
だけ、追加された代表点での動きベクトル情報を出力す
る。また、代表点位置を任意に設定できる場合には、追
加された代表点の位置情報も出力する。
割するか否かの情報に基づいて、追加代表点情報を選択
して出力する。すなわち、再分割すると判定された場合
だけ、追加された代表点での動きベクトル情報を出力す
る。また、代表点位置を任意に設定できる場合には、追
加された代表点の位置情報も出力する。
【００５１】
【発明の効果】以上の説明したように本発明によれば、
代表点の追加を区画の境界線上を除く区画の内部だけに
設定することで、追加の影響を隣接パッチに波及させず
に特定の区画を再分割できる。例えば３角形の区画を使
う場合には、図３（ａ）のように、３角形の内部に代表
点を追加し、追加代表点と３角形区画の頂点をそれぞれ
結ぶ線分で小区画に分割する。追加された代表点はその
区画内部の予測だけに使用され、他の区画では参照され
ることはないので、再分割の影響は隣接パッチにおよば
ない。あるいは図３（ｂ）のように、追加代表点ともと
の区画の各辺の中点をそれぞれ結んだ線分により分割し
てもよい。このとき各辺の中点における動きベクトル
は、辺の両端の代表点から線形補間することで、隣接区
画との動きベクトルの連続性を損なわずに再分割でき
る。なぜなら隣接パッチが再分割されない場合でも、区
画の境界線上の動きベクトルは、その両端の代表点での
動きベクトルから線形補間した値と一致するからであ
る。この例によっても、追加された代表点はその区画内
部の予測だけに使用され、他の区画では参照されること
はなく、再分割の影響は隣接パッチにおよばない。
代表点の追加を区画の境界線上を除く区画の内部だけに
設定することで、追加の影響を隣接パッチに波及させず
に特定の区画を再分割できる。例えば３角形の区画を使
う場合には、図３（ａ）のように、３角形の内部に代表
点を追加し、追加代表点と３角形区画の頂点をそれぞれ
結ぶ線分で小区画に分割する。追加された代表点はその
区画内部の予測だけに使用され、他の区画では参照され
ることはないので、再分割の影響は隣接パッチにおよば
ない。あるいは図３（ｂ）のように、追加代表点ともと
の区画の各辺の中点をそれぞれ結んだ線分により分割し
てもよい。このとき各辺の中点における動きベクトル
は、辺の両端の代表点から線形補間することで、隣接区
画との動きベクトルの連続性を損なわずに再分割でき
る。なぜなら隣接パッチが再分割されない場合でも、区
画の境界線上の動きベクトルは、その両端の代表点での
動きベクトルから線形補間した値と一致するからであ
る。この例によっても、追加された代表点はその区画内
部の予測だけに使用され、他の区画では参照されること
はなく、再分割の影響は隣接パッチにおよばない。
【００５２】このように本発明によれば、区画単位に独
立に再分割処理できる。また、再分割により追加される
代表点の数が少なく、動き検出の処理量の増加が少なく
て済む。さらに、追加代表点の追加位置を区画内部で任
意の位置に設定することが可能であり、画像内容に適合
した分割を行なうことも可能である。
立に再分割処理できる。また、再分割により追加される
代表点の数が少なく、動き検出の処理量の増加が少なく
て済む。さらに、追加代表点の追加位置を区画内部で任
意の位置に設定することが可能であり、画像内容に適合
した分割を行なうことも可能である。
【図１】本発明の一実施例による動き補償フレーム間予
測方法を説明するための流れ図である。
測方法を説明するための流れ図である。
【図２】本発明で用いる区画の適応再分割形態を説明す
るための図である。
るための図である。
【図３】本発明で用いる区画の再分割方法を説明するた
めの図である。
めの図である。
【図４】上記実施例による動き補償フレーム間予測方法
を実施するための動き補償フレーム間予測装置のブロッ
ク図である。
を実施するための動き補償フレーム間予測装置のブロッ
ク図である。
【図５】本発明で用いる代表点の配置方法を説明するた
めの図である。
めの図である。
【図６】本発明で用いる３角形区画内部の導きベクトル
を線形補間で計算する方法を説明するための図である。
を線形補間で計算する方法を説明するための図である。
【図７】本発明で用いる３角形区画のマッピングにより
動き補償予測をする方法を説明するための図である。
動き補償予測をする方法を説明するための図である。
【図８】本発明で用いる４角形区画内部の動きベクトル
を線形補間で計算する方法を説明するための図である。
を線形補間で計算する方法を説明するための図である。
【図９】従来の方法での区画の再分割方法を説明するた
めの図である。
めの図である。
【図１０】従来の方法での動き補償フレーム間予測方法
を説明するための流れ図である。
を説明するための流れ図である。
【図１１】従来の方法での区画の適応再分割形態を説明
するための図である。
するための図である。
【図１２】従来の方法での区画の再分割による影響を説
明するための図である。
明するための図である。
１ 入力画像 ２ 参照画像 ３ 代表点位置情報 ４ 動きベクトル情報 ５ 区画領域情報 ６ 追加代表点位置情報 ７ 追加代表点動きベクトル情報 ８ 予測誤差 ９ 予測誤差 １０ 予測信号 １１ 予測信号 １２ 区画分割モード １３ 予測信号 １４ 追加代表点情報 ３０１ 代表点配置設定手段 ３０２ 動きベクトル検出手段 ３０３ 区画領域指定手段 ３０４ 指定区画動き補償予測手段 ３０５ 代表点追加手段 ３０６ 追加代表点動きベクトル検出手段 ３０７ 指定区画分割時動き補償予測手段 ３０８ 適応区画分割判定手段 ３０９ 予測信号選択手段 ３１０ 追加代表点情報選択手段
Claims (7)
- 【請求項１】 動画像信号にて表される画面内に複数個
の代表点を設定し、これら代表点を結んで区画を構成す
るステップと、前記複数個の代表点における動きベクト
ルを代表点動きベクトルとして検出するステップと、前
記代表点動きベクトルから、前記区画内部の全ての画素
位置での動きベクトルを補間することにより、区間内部
での動き補償予測を行なうステップとを含む動き補償フ
レーム間予測方法において、 前記区画どうしの境界線上を除くそれぞれの区画の内部
だけに追加代表点を適応的に追加設定し、該追加代表点
の各々と当該追加代表点を囲む前記代表点とを結んで小
区画を構成するステップと、 前記追加代表点における動きベクトルを追加代表点動き
ベクトルとして検出するステップと、 前記追加代表点動きベクトル及び前記代表点動きベクト
ルから、前記小区画内部の全ての画素位置での動きベク
トルを補間することにより、小区画内部での動き補償予
測を行なうステップとを更に含むことを特徴とする動き
補償フレーム間予測方法。 - 【請求項２】 区間内部での動き補償予測を行なうステ
ップは、前記代表点動きベクトルから、前記区画内部の
全ての画素位置での動きベクトルを補間により定めて第
１の予測信号を生成するものであり、 前記小区間内部での動き補償予測を行なうステップは、
前記追加代表点動きベクトル及び前記代表点動きベクト
ルから、前記小区画内部の全ての画素位置での動きベク
トルを補間により定めて第２の予測信号を生成するもの
であることを特徴とする請求項１に記載の動き補償フレ
ーム間予測方法。 - 【請求項３】 前記第１の予測信号と前記第２の予測信
号とを比較し、適応的に区画の再分割を行う区画を選択
するステップを更に含むことを特徴とする請求項２に記
載の動き補償フレーム間予測方法。 - 【請求項４】 動画像信号にて表される画面内に複数個
の代表点を設定し、これら代表点を結んで区画を構成す
る第１の手段と、前記複数個の代表点における動きベク
トルを代表点動きベクトルとして検出する第２の手段
と、前記代表点動きベクトルから、前記区画内部の全て
の画素位置での動きベクトルを補間することにより、区
間内部での動き補償予測を行なう第３の手段とを含む動
き補償フレーム間予測装置において、 前記区画どうしの境界線上を除くそれぞれの区画の内部
だけに追加代表点を適応的に追加設定し、該追加代表点
の各々と当該追加代表点を囲む前記代表点とを結んで小
区画を構成する第４の手段と、 前記追加代表点における動きベクトルを追加代表点動き
ベクトルとして検出する第５の手段と、 前記追加代表点動きベクトル及び前記代表点動きベクト
ルから、前記小区画内部の全ての画素位置での動きベク
トルを補間することにより、小区画内部での動き補償予
測を行なう第６の手段とを更に含むことを特徴とする動
き補償フレーム間予測装置。 - 【請求項５】 前記第３の手段は、前記代表点動きベク
トルから、前記区画内部の全ての画素位置での動きベク
トルを補間により定めて第１の予測信号を生成するもの
であり、 前記第６の手段は、前記追加代表点動きベクトル及び前
記代表点動きベクトルから、前記小区画内部の全ての画
素位置での動きベクトルを補間により定めて第２の予測
信号を生成するものであることを特徴とする請求項４に
記載の動き補償フレーム間予測装置。 - 【請求項６】 前記第１の予測信号と前記第２の予測信
号とを比較し、適応的に区画の再分割を行う区画を選択
する手段を更に含むことを特徴とする請求項５に記載の
動き補償フレーム間予測装置。 - 【請求項７】 動画像の符号化に際し、画面内に定めら
れた複数個の代表点における動きベクトルから、画面内
の全ての画素位置での動きベクトルを補間することで、
動き補償フレーム間予測を行なう方法において、画面上
にあらかじめ定めた配置で複数個の代表点を設定し、前
記代表点を結んで区画を構成し、前記区画どうしの境界
線上を除くそれぞれの区画の内部だけに、代表点を適応
的に追加設定することで、代表点の配置密度を可変とす
ることを特徴とする動き補償フレーム間予測方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20008595A JP2798120B2 (ja) | 1995-08-04 | 1995-08-04 | 動き補償フレーム間予測方法及び動き補償フレーム間予測装置 |
| US08/691,919 US5751365A (en) | 1995-08-04 | 1996-08-01 | Motion compensated inter-frame prediction method and apparatus using motion vector interpolation with adaptive representation point addition |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20008595A JP2798120B2 (ja) | 1995-08-04 | 1995-08-04 | 動き補償フレーム間予測方法及び動き補償フレーム間予測装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0951537A JPH0951537A (ja) | 1997-02-18 |
| JP2798120B2 true JP2798120B2 (ja) | 1998-09-17 |
Family
ID=16418611
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20008595A Expired - Lifetime JP2798120B2 (ja) | 1995-08-04 | 1995-08-04 | 動き補償フレーム間予測方法及び動き補償フレーム間予測装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5751365A (ja) |
| JP (1) | JP2798120B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100215451B1 (ko) | 1996-05-29 | 1999-08-16 | 윤종용 | 임의형태 물체를 포함한 동화상의 부호화 및 복호화시스템 |
| JPH1098729A (ja) * | 1996-09-20 | 1998-04-14 | Hitachi Ltd | フレーム間予測画像の合成方法 |
| JP4226730B2 (ja) * | 1999-01-28 | 2009-02-18 | 株式会社東芝 | 物体領域情報生成方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置 |
| KR100708091B1 (ko) * | 2000-06-13 | 2007-04-16 | 삼성전자주식회사 | 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법 |
| US20040141555A1 (en) * | 2003-01-16 | 2004-07-22 | Rault Patrick M. | Method of motion vector prediction and system thereof |
| WO2006030103A1 (fr) * | 2004-09-15 | 2006-03-23 | France Telecom | Procede d'estimation de mouvement a l'aide de maillages deformables |
| KR20060123939A (ko) * | 2005-05-30 | 2006-12-05 | 삼성전자주식회사 | 영상의 복부호화 방법 및 장치 |
| US20080240242A1 (en) * | 2007-03-27 | 2008-10-02 | Nokia Corporation | Method and system for motion vector predictions |
| KR20080107965A (ko) * | 2007-06-08 | 2008-12-11 | 삼성전자주식회사 | 객체 경계 기반 파티션을 이용한 영상의 부호화, 복호화방법 및 장치 |
| US8600189B2 (en) | 2007-11-12 | 2013-12-03 | Qualcomm Incorporated | Block-based image stabilization |
| JP5716438B2 (ja) * | 2011-02-08 | 2015-05-13 | 株式会社Ｊｖｃケンウッド | 画像復号装置、画像復号方法および画像復号プログラム |
| JP5716437B2 (ja) * | 2011-02-08 | 2015-05-13 | 株式会社Ｊｖｃケンウッド | 画像符号化装置、画像符号化方法および画像符号化プログラム |
| CN104363451B (zh) | 2014-10-27 | 2019-01-25 | 华为技术有限公司 | 图像预测方法及相关装置 |
| CN111434110B (zh) * | 2018-11-06 | 2023-06-20 | 北京字节跳动网络技术有限公司 | 用于视频处理的方法、装置和存储介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3103894B2 (ja) * | 1991-02-06 | 2000-10-30 | ソニー株式会社 | ビデオデータの手振れ補正装置およびその方法 |
| US5581309A (en) * | 1992-02-03 | 1996-12-03 | Sanyo Electric Co., Ltd. | Motion vector detecting circuit |
| US5276513A (en) * | 1992-06-10 | 1994-01-04 | Rca Thomson Licensing Corporation | Implementation architecture for performing hierarchical motion analysis of video images in real time |
| DE4322343C2 (de) * | 1992-07-06 | 1996-10-02 | Mitsubishi Electric Corp | Mittel zum Erfassen eines Bewegungsvektors und Verfahren zum Bestimmen eines Bewegungsvektors |
| JPH0698313A (ja) * | 1992-09-14 | 1994-04-08 | Sony Corp | 動画像復号化装置 |
| JPH06327000A (ja) * | 1993-05-11 | 1994-11-25 | Kyocera Corp | 動き補償方法 |
| JPH07200833A (ja) * | 1993-12-08 | 1995-08-04 | Nec Corp | 画像化システムにおいて移動物体の数を決定し画像の点と移動物体とを関連させる方法 |
| US5537155A (en) * | 1994-04-29 | 1996-07-16 | Motorola, Inc. | Method for estimating motion in a video sequence |
| KR0171146B1 (ko) * | 1995-03-18 | 1999-03-20 | 배순훈 | 특징점을 이용한 움직임 벡터 검출 장치 |
| KR0181063B1 (ko) * | 1995-04-29 | 1999-05-01 | 배순훈 | 특징점을 이용한 움직임 보상에서의 그리드 형성방법 및 장치 |
-
1995
- 1995-08-04 JP JP20008595A patent/JP2798120B2/ja not_active Expired - Lifetime
-
1996
- 1996-08-01 US US08/691,919 patent/US5751365A/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US5751365A (en) | 1998-05-12 |
| JPH0951537A (ja) | 1997-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2738325B2 (ja) | 動き補償フレーム間予測装置 | |
| JP2798035B2 (ja) | 適応動きベクトル補間による動き補償フレーム間予測方法 | |
| JP2798120B2 (ja) | 動き補償フレーム間予測方法及び動き補償フレーム間予測装置 | |
| JP3847827B2 (ja) | 動きベクトル検出方法 | |
| JP3621152B2 (ja) | 特徴点の特定装置及びその方法 | |
| KR100995398B1 (ko) | 수직 및 수평 방향의 패턴을 고려한 전역 움직임 보상순차주사화 방법 | |
| US8385602B2 (en) | Image processing device method, program, and recording medium for improving detection precision of a motion vector | |
| JP2968838B2 (ja) | 画像列の動作を予測しかつ階層的コード化を行う方法及び装置 | |
| US6912014B2 (en) | Image processing device and method, and recording medium | |
| US20090167959A1 (en) | Image processing device and method, program, and recording medium | |
| JP7161107B2 (ja) | 生成装置及びコンピュータプログラム | |
| US5862262A (en) | Method of encoding a digital image using adaptive partitioning in an iterated transformation system | |
| US20060098886A1 (en) | Efficient predictive image parameter estimation | |
| JP2006148419A (ja) | 画像符号化装置，画像符号化方法，画像符号化プログラムおよびコンピュータ読み取り可能な記録媒体 | |
| KR100208375B1 (ko) | 동화상 부호화 방법 및 장치 | |
| KR100969420B1 (ko) | 프레임 레이트 변환 방법 | |
| JP3513277B2 (ja) | 映像符号化装置及び映像復号化装置 | |
| JPH0799661A (ja) | 動き補償予測装置 | |
| JPH10243401A (ja) | 適応動きベクトル補間による動き補償フレーム間予測方法 | |
| JP3700230B2 (ja) | 動画像符号化における動き補償方法 | |
| JP4057503B2 (ja) | 解像度変換用フィルタ係数決定方法，画像解像度変換方法，画像解像度変換装置，映像再符号化方法，映像再符号化装置，解像度変換用フィルタ係数決定プログラム，画像解像度変換プログラム，映像再符号化プログラムおよびそれらのプログラムを記録した記録媒体 | |
| JPH08242454A (ja) | グローバル動きパラメタ検出方法 | |
| KR0147330B1 (ko) | 부분 표본화 방식과 교대적 패턴블록을 이용한 전역 검색 방법 | |
| JPH08116541A (ja) | 画像符号化装置 | |
| KR100706720B1 (ko) | 방향성 보간을 이용한 공간적 에러은닉 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19980603 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070703 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080703 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090703 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100703 Year of fee payment: 12 |