JP2913846B2 - 動画像の符号化方式 - Google Patents
動画像の符号化方式Info
- Publication number
- JP2913846B2 JP2913846B2 JP3000523A JP52391A JP2913846B2 JP 2913846 B2 JP2913846 B2 JP 2913846B2 JP 3000523 A JP3000523 A JP 3000523A JP 52391 A JP52391 A JP 52391A JP 2913846 B2 JP2913846 B2 JP 2913846B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- area
- motion vector
- coordinate position
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Color Television Systems (AREA)
Description
【０００１】
【産業上の利用分野】本発明は動画像の動き情報検出お
よび動画像の動き補償フレーム間予測を行う動画像の符
号化方式に関する。
よび動画像の動き補償フレーム間予測を行う動画像の符
号化方式に関する。
【０００２】
【従来の技術】従来の動画像の符号化方式において、動
き補償フレーム間予測符号化では、供給された画像を定
められた大きさの小ブロックに分割しつ各小ブロック毎
に動きベクトルを検出し、各小ブロック毎にその検出さ
れた動きベクトルを用いて動き補償フレーム間予測を行
う方式が広く用いられてきた。
き補償フレーム間予測符号化では、供給された画像を定
められた大きさの小ブロックに分割しつ各小ブロック毎
に動きベクトルを検出し、各小ブロック毎にその検出さ
れた動きベクトルを用いて動き補償フレーム間予測を行
う方式が広く用いられてきた。
【０００３】また、カメラ操作によりパンニングやズー
ミングあるいは回転などの画像全体の動きがある場合に
は、特願平２−１０４０３２号公報「動画像の動き情報
検出方式および動画像の動き補償フレーム間予測符号化
方式」において、小ブロック毎に検出された動きベクト
ルから画像全体の動きを記述する複数の動きパラメータ
を検出する方式が説明されている。この方式では画素毎
あるいは小ブロック毎の動き補償に用いられる動きベク
トルを動きパラメータから計算して求めるため、動き情
報としては動きパラメータを符号化すれば十分であり、
動きベクトル符号量を削減することが可能である。
ミングあるいは回転などの画像全体の動きがある場合に
は、特願平２−１０４０３２号公報「動画像の動き情報
検出方式および動画像の動き補償フレーム間予測符号化
方式」において、小ブロック毎に検出された動きベクト
ルから画像全体の動きを記述する複数の動きパラメータ
を検出する方式が説明されている。この方式では画素毎
あるいは小ブロック毎の動き補償に用いられる動きベク
トルを動きパラメータから計算して求めるため、動き情
報としては動きパラメータを符号化すれば十分であり、
動きベクトル符号量を削減することが可能である。
【０００４】
【発明が解決しようとする課題】上述した従来の動画像
の符号化方式において、定められた大きさの小ブロッム
毎に動きベクトルの検出および動き補償フレーム間予測
符号化を行う方式では、動きの異なる複数の領域にまた
がったブロックにおいて、複数の動きを同時に補償する
ことは困難である。このためブロックの動き補償フレー
ム間予測誤差が大きくなり符号化効率を低下させること
がある。
の符号化方式において、定められた大きさの小ブロッム
毎に動きベクトルの検出および動き補償フレーム間予測
符号化を行う方式では、動きの異なる複数の領域にまた
がったブロックにおいて、複数の動きを同時に補償する
ことは困難である。このためブロックの動き補償フレー
ム間予測誤差が大きくなり符号化効率を低下させること
がある。
【０００５】また、特願平２−１０４０３２号公報「動
画像の動き情報検出方式および動画像の動きフレーム間
予測符号化方式」では、画像の動きがカメラ操作などに
起因する画像全体の動きだけであることを前提としてい
るため、画像内に独立した動きを持つ複数の領域が存在
する場合には動きパラメータの検出誤差が大きくなる。
また、カメラ操作に起因する画像全体の動きを記述する
動きパラメータを検出することができたとしても、独立
した動きをもつ領域の動きベクトルはこの動きパラメー
タから計算により求めることは困難である。従って少な
くともカメラ操作とは独立した動きを持つ領域に対して
は小ブロック毎の補償をおこなう必要があり、小ブロッ
クの動きベクトルを符号化するため動きベクトル符号量
を増加させるという問題点がある。
画像の動き情報検出方式および動画像の動きフレーム間
予測符号化方式」では、画像の動きがカメラ操作などに
起因する画像全体の動きだけであることを前提としてい
るため、画像内に独立した動きを持つ複数の領域が存在
する場合には動きパラメータの検出誤差が大きくなる。
また、カメラ操作に起因する画像全体の動きを記述する
動きパラメータを検出することができたとしても、独立
した動きをもつ領域の動きベクトルはこの動きパラメー
タから計算により求めることは困難である。従って少な
くともカメラ操作とは独立した動きを持つ領域に対して
は小ブロック毎の補償をおこなう必要があり、小ブロッ
クの動きベクトルを符号化するため動きベクトル符号量
を増加させるという問題点がある。
【０００６】
【課題を解決するための手段】第１の本発明の動画像の
符号化方式は、動画像のフレーム間の動きを異なる複数
の領域に分割しこの領域の分割状態を示す領域分割情報
として出力する領域分割手段と、前記動画像の画素毎あ
るいは小ブロック毎にフレーム間の動きベクトルを検出
する動きベクトル検出手段と、前記領域分割情報と前記
動きベクトルとにより位置座標に関する一次変換の係数
であり前記領域毎に領域内部の動きを特徴づける動きパ
ラメータを検出し動き情報として出力する動きパラメー
タ検出手段とを備える
符号化方式は、動画像のフレーム間の動きを異なる複数
の領域に分割しこの領域の分割状態を示す領域分割情報
として出力する領域分割手段と、前記動画像の画素毎あ
るいは小ブロック毎にフレーム間の動きベクトルを検出
する動きベクトル検出手段と、前記領域分割情報と前記
動きベクトルとにより位置座標に関する一次変換の係数
であり前記領域毎に領域内部の動きを特徴づける動きパ
ラメータを検出し動き情報として出力する動きパラメー
タ検出手段とを備える
【０００７】第２の本発明の動画像の符号化方式は、前
記領域毎の動きパラメータの検出において、前記領域の
動きを座標位置の一次変換関数で記述し、前記一次変換
関数を特徴づける動きパラメータの検出に際して前記領
域における動きベクトルが実測された複数の座標位置の
重心点を検出し、前記座標位置を前記重心点からの相対
座標位置に変換し、前記動きベクトルと前記相対座標位
置により最小２乗誤差法を用いて前記動きパラメータを
計算する。
記領域毎の動きパラメータの検出において、前記領域の
動きを座標位置の一次変換関数で記述し、前記一次変換
関数を特徴づける動きパラメータの検出に際して前記領
域における動きベクトルが実測された複数の座標位置の
重心点を検出し、前記座標位置を前記重心点からの相対
座標位置に変換し、前記動きベクトルと前記相対座標位
置により最小２乗誤差法を用いて前記動きパラメータを
計算する。
【０００８】第３の本発明の動画像の符号化法師は、前
記領域分割情報により前記動画像を動きの異なる複数の
領域に分割する領域分割再現手段と、前記領域分割され
た領域別に前記動きパラメータから画素毎または小ブロ
ック毎の座標位置により異なる動きベクトルを再計算し
て展開する手段と、前記展開された動きベクトルにより
動き補償をおこなう動き補償フレーム間予測手段とを備
える
記領域分割情報により前記動画像を動きの異なる複数の
領域に分割する領域分割再現手段と、前記領域分割され
た領域別に前記動きパラメータから画素毎または小ブロ
ック毎の座標位置により異なる動きベクトルを再計算し
て展開する手段と、前記展開された動きベクトルにより
動き補償をおこなう動き補償フレーム間予測手段とを備
える
【０００９】
【作用】第１の本発明の動画像の符号化方式では、入力
画像は独立した動きを持つ複数の領域で構成されてお
り、各領域の動きは画像平面内の平行移動と回転および
拡大・縮小の動きのみであることを前提として動き検出
をおこなう。一般に動画像は動きの異なる複数の領域で
構成されており、各領域に分割することが可能である。
画像の領域分割の方法としては、色度変化の少ない連続
領域を一つの領域として抽出する方法や、輝度の急峻に
変化する境界にもとづき領域分割をおこなう方法などが
知られている。また隣接した２つの領域間で色度あるい
は輝度が急峻に変化している場合でも、画素毎あるいは
小ブロック毎に検出された動きベクトルが領域間で連続
的に変化していれば、これら２つの領域は同じ動きを持
つ１つの領域に統合することができる。
画像は独立した動きを持つ複数の領域で構成されてお
り、各領域の動きは画像平面内の平行移動と回転および
拡大・縮小の動きのみであることを前提として動き検出
をおこなう。一般に動画像は動きの異なる複数の領域で
構成されており、各領域に分割することが可能である。
画像の領域分割の方法としては、色度変化の少ない連続
領域を一つの領域として抽出する方法や、輝度の急峻に
変化する境界にもとづき領域分割をおこなう方法などが
知られている。また隣接した２つの領域間で色度あるい
は輝度が急峻に変化している場合でも、画素毎あるいは
小ブロック毎に検出された動きベクトルが領域間で連続
的に変化していれば、これら２つの領域は同じ動きを持
つ１つの領域に統合することができる。
【００１０】次に、分割された領域毎に領域の動きを特
徴づける動きパラメータを検出する。この動き検出の原
理を図４を用いて説明する。動きの異なる複数の領域が
存在する画像上で画素毎あるいは小ブロック毎に動きベ
クトルを検出した場合には、画像内の動きベクトルの分
布には図４に示すような特徴が見られる。例えば画像の
フレーム位置が固定している場合には、図４（ａ）のよ
うに動きの無い背景部分では動きベクトルが０であり、
独立した動きを持つ領域部分にのみ動きベクトルが検出
される。このとき領域の動きは領域全体としての平行移
動と回転および拡大・縮小の合成として近似される。
徴づける動きパラメータを検出する。この動き検出の原
理を図４を用いて説明する。動きの異なる複数の領域が
存在する画像上で画素毎あるいは小ブロック毎に動きベ
クトルを検出した場合には、画像内の動きベクトルの分
布には図４に示すような特徴が見られる。例えば画像の
フレーム位置が固定している場合には、図４（ａ）のよ
うに動きの無い背景部分では動きベクトルが０であり、
独立した動きを持つ領域部分にのみ動きベクトルが検出
される。このとき領域の動きは領域全体としての平行移
動と回転および拡大・縮小の合成として近似される。
【００１１】またカメラ操作により画像全体が動いてい
る場合には、カメラ操作から独立した動きの無い背景部
分で、動きベクトルに図４（ｂ）〜（ｄ）に示すような
特徴が見られる。図４（ｂ）はパンニング、図４（ｃ）
はズーミング、図４（ｄ）は回転それぞれの場合であ
る。すなわち、カメラ操作のみに起因する背景部分の動
きも背景全体の平行移動と回転および拡大・縮小の合成
として表される。さらにこのようなカメラ操作のある場
合には、カメラ操作から独立した動きを持つ領域の動き
ベクトルは、カメラ操作による画像全体の動き成分とカ
メラ操作とは独立した領域独自の動き成分との合成とし
ても記述できる。図４（ｅ）はこのような場合の一例で
ある。以上のように入力画像内の動きは、各領域毎に平
行移動と回転および拡大・縮小の合成として近似され
る。従って特定の領域に注目すれば領域内の動きベクト
ルは画像上の位置の関数として記述することができる。
る場合には、カメラ操作から独立した動きの無い背景部
分で、動きベクトルに図４（ｂ）〜（ｄ）に示すような
特徴が見られる。図４（ｂ）はパンニング、図４（ｃ）
はズーミング、図４（ｄ）は回転それぞれの場合であ
る。すなわち、カメラ操作のみに起因する背景部分の動
きも背景全体の平行移動と回転および拡大・縮小の合成
として表される。さらにこのようなカメラ操作のある場
合には、カメラ操作から独立した動きを持つ領域の動き
ベクトルは、カメラ操作による画像全体の動き成分とカ
メラ操作とは独立した領域独自の動き成分との合成とし
ても記述できる。図４（ｅ）はこのような場合の一例で
ある。以上のように入力画像内の動きは、各領域毎に平
行移動と回転および拡大・縮小の合成として近似され
る。従って特定の領域に注目すれば領域内の動きベクト
ルは画像上の位置の関数として記述することができる。
【００１２】このような関数の一例として、特願平２−
１０４０３２号公報「動画像の動き情報検出方式および
動画像の動き補償フレーム間予測符号化方式」に記載さ
れているような一次変換を用いることができる。具体的
には領域毎に式（１）に示すような一次変換が与えられ
る。
１０４０３２号公報「動画像の動き情報検出方式および
動画像の動き補償フレーム間予測符号化方式」に記載さ
れているような一次変換を用いることができる。具体的
には領域毎に式（１）に示すような一次変換が与えられ
る。
【００１３】
【００１４】式（１）において（Ｖx ，Ｖy ）は領域内
の座標位置（ｘ，ｙ）の動きベクトルである。さらに式
（１）の係数を Ａ１＝（ａ＋ｄ）／２ Ａ２＝（−ｂ＋ｃ）／２ …（２） と置き換えれば、Ａ１およびＡ２の値はそれぞれ動きベ
クトルの実測をおこなった座標系での原点位置を中心と
した拡大・縮小および回転の大きさを表す。また式
（１）の定数項（ｅ，ｆ）t は該領域の平行移動量で
ある。以上に説明したように、領域毎の動きは拡大・縮
小と回転および平行移動の各々を記述する変換の組合せ
で表現でき、その変換を特徴づける動きパラメータＭＰ
は式（１）のＭＰ１＝（ａ，ｂ，ｃ，ｄ，ｅ，ｆ）ある
いは式（１）および式（２）のＭＰ２＝（Ａ１，Ａ２，
ｅ，ｆ）のどちらかの組合せで与えることができる。
の座標位置（ｘ，ｙ）の動きベクトルである。さらに式
（１）の係数を Ａ１＝（ａ＋ｄ）／２ Ａ２＝（−ｂ＋ｃ）／２ …（２） と置き換えれば、Ａ１およびＡ２の値はそれぞれ動きベ
クトルの実測をおこなった座標系での原点位置を中心と
した拡大・縮小および回転の大きさを表す。また式
（１）の定数項（ｅ，ｆ）t は該領域の平行移動量で
ある。以上に説明したように、領域毎の動きは拡大・縮
小と回転および平行移動の各々を記述する変換の組合せ
で表現でき、その変換を特徴づける動きパラメータＭＰ
は式（１）のＭＰ１＝（ａ，ｂ，ｃ，ｄ，ｅ，ｆ）ある
いは式（１）および式（２）のＭＰ２＝（Ａ１，Ａ２，
ｅ，ｆ）のどちらかの組合せで与えることができる。
【００１５】動き情報の符号化においては、領域分割の
状態を示す領域分割情報と領域毎に検出された動きパラ
メータＭＰのみを符号化する。これにより動き情報の符
号量を効率的に削減することが可能となる。なお領域分
割情報の符号化方式の一例として、領域輪郭線の特徴点
であるコーナーや変曲点の座標位置と、各特徴点がどの
領域に属するかを示す情報のみを符号化する方法を使う
ことができる（ヘッター，「オブジェクト・オリエンテ
ッド・アナリシス・シンセシス・コーディング・ベイス
ッド・オン・ムービング・ツー・ディメンジョナル・オ
ブジェクツ」：セカンド・インタナショナル・ワークシ
ョップ・オン・６４Ｋｂｉｔ／ｓ．コーディング・オブ
・モーションビデオ論文集）。この方式を用いた場合に
は、符号化された特徴点を滑らかな曲線で連接すること
で領域輪郭線を再現することができ、再現された領域毎
に補償フレーム間予測をおこなう。以上に説明したよう
に様々な形状を持つつ領域毎に補償をおこなうことで、
より正確な動き補償を実現して、動き補償フレーム間予
測効率を改善することができる。
状態を示す領域分割情報と領域毎に検出された動きパラ
メータＭＰのみを符号化する。これにより動き情報の符
号量を効率的に削減することが可能となる。なお領域分
割情報の符号化方式の一例として、領域輪郭線の特徴点
であるコーナーや変曲点の座標位置と、各特徴点がどの
領域に属するかを示す情報のみを符号化する方法を使う
ことができる（ヘッター，「オブジェクト・オリエンテ
ッド・アナリシス・シンセシス・コーディング・ベイス
ッド・オン・ムービング・ツー・ディメンジョナル・オ
ブジェクツ」：セカンド・インタナショナル・ワークシ
ョップ・オン・６４Ｋｂｉｔ／ｓ．コーディング・オブ
・モーションビデオ論文集）。この方式を用いた場合に
は、符号化された特徴点を滑らかな曲線で連接すること
で領域輪郭線を再現することができ、再現された領域毎
に補償フレーム間予測をおこなう。以上に説明したよう
に様々な形状を持つつ領域毎に補償をおこなうことで、
より正確な動き補償を実現して、動き補償フレーム間予
測効率を改善することができる。
【００１６】第２の本発明の動画像の符号化方式では、
領域の動きを座標位置の関数である一次変換で記述し
て、この一次変換を特徴づける動きパラメータを、該領
域上で画素毎あるいは小ブロック毎に検出された動きベ
クトル（Ｖx ，Ｖy ）から最小２乗誤差法を用いて求め
る。まず領域上の座標位置（ｘi ，ｙi ）とその位置で
の動きベクトルのｘ成分の実測値Ｖx i から動きパラメ
ータａ，ｂ，ｅを求める方法を説明する。いまＮ個の実
測値ｘi ，ｙi ，Ｖx i （ｉ＝１〜Ｎ）に対して一次変
換式（１）のパラメータａ，ｂ，ｅを仮定した場合に、
Ｖx の実測値との平均２乗誤差ＭＳＥは式（３）で与え
られる。
領域の動きを座標位置の関数である一次変換で記述し
て、この一次変換を特徴づける動きパラメータを、該領
域上で画素毎あるいは小ブロック毎に検出された動きベ
クトル（Ｖx ，Ｖy ）から最小２乗誤差法を用いて求め
る。まず領域上の座標位置（ｘi ，ｙi ）とその位置で
の動きベクトルのｘ成分の実測値Ｖx i から動きパラメ
ータａ，ｂ，ｅを求める方法を説明する。いまＮ個の実
測値ｘi ，ｙi ，Ｖx i （ｉ＝１〜Ｎ）に対して一次変
換式（１）のパラメータａ，ｂ，ｅを仮定した場合に、
Ｖx の実測値との平均２乗誤差ＭＳＥは式（３）で与え
られる。
【００１７】
【００１８】ここで特願平２−１０４０３２号公報「動
画像の動き情報検出方式および動画像の動き補償フレー
ム間予測符号化方式」に記述されている方法を用いて、
式（３）の平均２乗誤差ＭＳＥを最小にするパラメータ
ａ，ｂ，ｃを求めると式（４）のように書き下すことが
できる。
画像の動き情報検出方式および動画像の動き補償フレー
ム間予測符号化方式」に記述されている方法を用いて、
式（３）の平均２乗誤差ＭＳＥを最小にするパラメータ
ａ，ｂ，ｃを求めると式（４）のように書き下すことが
できる。
【００１９】
【００２０】但し、Ｅ（ ）は平均を示し式（５）で表
される。
される。
【００２１】
【００２２】次にＮ個の動きベクトルを実測した座標位
置（ｘi ，ｙi ）の重心座標位置（ｘc ，ｙc ）を計算
により求める。なお動きベクトルを該領域の全ての画素
について測定した場合には、前記重心座標位置（ｘc ，
ｙc ）は該領域自身の重心点と一致する。実測座標位置
（ｘi ，ｙi ）を計算で求めた重心座標位置（ｘc ，ｙ
c)との相対座標位置（ｘr i ，ｙr i ）＝（ｘi −
ｘc ，ｙi −ｙc ）にて全て置き換えると、式（６） Ｅ（ｘr ）＝Ｅ（ｙr ）＝０ …（６） であるから、式（４）は式（７）のようになる。
置（ｘi ，ｙi ）の重心座標位置（ｘc ，ｙc ）を計算
により求める。なお動きベクトルを該領域の全ての画素
について測定した場合には、前記重心座標位置（ｘc ，
ｙc ）は該領域自身の重心点と一致する。実測座標位置
（ｘi ，ｙi ）を計算で求めた重心座標位置（ｘc ，ｙ
c)との相対座標位置（ｘr i ，ｙr i ）＝（ｘi −
ｘc ，ｙi −ｙc ）にて全て置き換えると、式（６） Ｅ（ｘr ）＝Ｅ（ｙr ）＝０ …（６） であるから、式（４）は式（７）のようになる。
【００２３】
【００２４】ゆえに、式（８）のようになる。
【００２５】 Ｅ（ｘr 2 ）Ｅ（ｙr 2 ）−｛Ｅ（ｘr ｙr ）｝2 ≠０ …（８） 式（８）ならば式（９）のようになる。
【００２６】
【００２７】従ってＮ個の実測値ｘi ，ｙi ，Ｖ
x i （ｉ＝１〜Ｎ）を求めれば、式（９）を用いること
でパラメータａ，ｂ，ｅを簡単に計算することができ
る。また式（１）の動きパラメータｃ，ｄ，ｆも同様な
方法を用いることでＮ個の実測値ｘi ，ｙi ，Ｖ
y i （ｉ＝１〜Ｎ）から計算することができる。ところ
で、Ｎ個の動きベクトルの実測点の相対座標位置（ｘr
i ，ｙr i ）が、式（１０） Ｘr i ＝ｍ×ｙr i （ｍはｉによらない定数） …（１０） の関係で示される場合に式（８）の仮定が成立しない。
このような場合には次のように方法で動きパラメータを
計算する。式（１０）ではｘとｙとが一次の線形従属で
あるから、この座標位置で実測された動きベクトルは式
（１１）の一次変換で記述できる。
x i （ｉ＝１〜Ｎ）を求めれば、式（９）を用いること
でパラメータａ，ｂ，ｅを簡単に計算することができ
る。また式（１）の動きパラメータｃ，ｄ，ｆも同様な
方法を用いることでＮ個の実測値ｘi ，ｙi ，Ｖ
y i （ｉ＝１〜Ｎ）から計算することができる。ところ
で、Ｎ個の動きベクトルの実測点の相対座標位置（ｘr
i ，ｙr i ）が、式（１０） Ｘr i ＝ｍ×ｙr i （ｍはｉによらない定数） …（１０） の関係で示される場合に式（８）の仮定が成立しない。
このような場合には次のように方法で動きパラメータを
計算する。式（１０）ではｘとｙとが一次の線形従属で
あるから、この座標位置で実測された動きベクトルは式
（１１）の一次変換で記述できる。
【００２８】 ｖｘ＝ｐｘ＋ｅ ｖｙ＝ｑｘ＋ｆ …（１１） そこで式（１）のパラメータａ，ｂ，ｃ，ｄ，ｅ，ｆを
求めたのと同様の最小２乗誤差法を用いて、Ｎ個の実測
値ｘi ，ｙi ，ｖx i ，ｖy i （ｉ＝１〜Ｎ）からパラ
メータｐ，ｑ，ｅ，ｆを求めることができる。なお式
（１１）のパラメータｐ，ｑは回転と拡大・縮小の合成
された動きを記述し、パラメータｅ，ｆは平行移動を記
述する。しかしパラメータｐ，ｑから直接に回転と拡大
・縮小の動きを記述できるのは、該領域上の式（１０）
で表される座標位置のみである。そこでパラメータｐ，
ｑと式（１０）の関係を用いて領域全体の動きを記述す
る式（２）のパラメータＡ１，Ａ２を計算により求め
る。いま式（１０）と式（１１）で記述される動きベク
トルを、拡大・縮小の成分ｖｚと回転の成分ｖｒとに分
解すると式（１２）のようになる。
求めたのと同様の最小２乗誤差法を用いて、Ｎ個の実測
値ｘi ，ｙi ，ｖx i ，ｖy i （ｉ＝１〜Ｎ）からパラ
メータｐ，ｑ，ｅ，ｆを求めることができる。なお式
（１１）のパラメータｐ，ｑは回転と拡大・縮小の合成
された動きを記述し、パラメータｅ，ｆは平行移動を記
述する。しかしパラメータｐ，ｑから直接に回転と拡大
・縮小の動きを記述できるのは、該領域上の式（１０）
で表される座標位置のみである。そこでパラメータｐ，
ｑと式（１０）の関係を用いて領域全体の動きを記述す
る式（２）のパラメータＡ１，Ａ２を計算により求め
る。いま式（１０）と式（１１）で記述される動きベク
トルを、拡大・縮小の成分ｖｚと回転の成分ｖｒとに分
解すると式（１２）のようになる。
【００２９】 ｖｚ＝（ｐ・ｃｏｓ（ｔ）＋ｑ・ｓｉｎ（ｔ））Ｘ ｖｒ＝（−ｐ・ｓｉｎ（ｔ）＋ｑ・ｃｏｓ（ｔ））Ｘ ｔ＝ｔａｎ-1（ｍ） …（１２） ところで式（２）のパラメータＡ１，Ａ２は拡大・縮小
および回転それぞれの動きを記述する一次変換の係数で
あるから、 （ｖｚ・ｃｏｓ（ｔ），ｖｚ・ｓｉｎ（ｔ））＝（Ａ１・ｘ，Ａ１・ｙ） （−ｖｒ・ｓｉｎ（ｔ），ｖｒ・ｃｏｓ（ｔ））＝（−Ａ２・ｙ，Ａ２・Ｘ） …（１３） の関係が成り立つ、。式（１２）と式（１３）とからパ
ラメータＡ１，Ａ２は、式（１４）となる。
および回転それぞれの動きを記述する一次変換の係数で
あるから、 （ｖｚ・ｃｏｓ（ｔ），ｖｚ・ｓｉｎ（ｔ））＝（Ａ１・ｘ，Ａ１・ｙ） （−ｖｒ・ｓｉｎ（ｔ），ｖｒ・ｃｏｓ（ｔ））＝（−Ａ２・ｙ，Ａ２・Ｘ） …（１３） の関係が成り立つ、。式（１２）と式（１３）とからパ
ラメータＡ１，Ａ２は、式（１４）となる。
【００３０】 Ａ１＝（ｐ・ｃｏｓ（ｔ）＋ｑ・ｓｉｎ（ｔ））・ｃｏｓ（ｔ） Ａ２＝（−ｐ・ｓｉｎ（ｔ）＋ｑ・ｃｏｓ（ｔ））・ｃｏｓ（ｔ）…（１４） 従って式（８）の成立の有無に係わらず、領域全体の動
きを記述する動きパラメータＡ１，Ａ２，ｅ，ｆを計算
により求めることができる。
きを記述する動きパラメータＡ１，Ａ２，ｅ，ｆを計算
により求めることができる。
【００３１】第３の本発明の動画像の符号化方式では、
前述の第１の動画像の動き情報検出方式で検出された領
域分割情報と領域毎に与えられた動きパラメータを用い
て、画素毎あるいは小ブロック毎の動きベクトルを計算
により求める。まず領域分割情報を用いて画像を動きの
異なる複数の領域に分割した状態を再現する。領域分割
情報は一例として領域輪郭線のコーナーや変曲点などの
特徴点と各特徴点がどの領域に属するかを示してあり、
同じ属性を持つ特徴点を滑らかな曲線で連結することに
より、領域分割状態を再現することができる。次に、分
割された領域毎に与えられた動きパラメータからその領
域内の画素毎あるいは小ブロック毎の動きベクトルを展
開する。ここで動きベクトルは式（１）または式（２）
の動きパラメータで特徴づけられた一次変換式により計
算することができる。動き補償フレーム間予測符号化に
おいては、以上の方法で計算された動きベクトルを用い
て動き補償をおこなう。このようにすることで領域毎に
異なる動きをより正確に補償することが可能となり、動
き補償フレーム間予測誤差の少ない効率的に符号化を実
現することができる。
前述の第１の動画像の動き情報検出方式で検出された領
域分割情報と領域毎に与えられた動きパラメータを用い
て、画素毎あるいは小ブロック毎の動きベクトルを計算
により求める。まず領域分割情報を用いて画像を動きの
異なる複数の領域に分割した状態を再現する。領域分割
情報は一例として領域輪郭線のコーナーや変曲点などの
特徴点と各特徴点がどの領域に属するかを示してあり、
同じ属性を持つ特徴点を滑らかな曲線で連結することに
より、領域分割状態を再現することができる。次に、分
割された領域毎に与えられた動きパラメータからその領
域内の画素毎あるいは小ブロック毎の動きベクトルを展
開する。ここで動きベクトルは式（１）または式（２）
の動きパラメータで特徴づけられた一次変換式により計
算することができる。動き補償フレーム間予測符号化に
おいては、以上の方法で計算された動きベクトルを用い
て動き補償をおこなう。このようにすることで領域毎に
異なる動きをより正確に補償することが可能となり、動
き補償フレーム間予測誤差の少ない効率的に符号化を実
現することができる。
【００３２】
【実施例】次に本発明について図面を参照して説明す
る。図１は第１の本発明の一実施例のブロック図であ
る。
る。図１は第１の本発明の一実施例のブロック図であ
る。
【００３３】本実施例の動画像の動き情報検出方式にお
いて、動きベクトル検出回路１１と領域分割回路１２と
に入力画像１０１が供給される。動きベクトル検出回路
１１では入力画像１０１の画素毎あるいは小ブロック毎
の動きベクトル１０２を検出して動きパラメータ検出回
路１３に供給する。一方、領域分割回路１２では入力画
像１０１を動きの異なる複数の領域に分割し、領域分割
の状態を示す領域分割情報１０３を出力する。なお領域
分割回路１２では動きベクトル検出回路１１の出力であ
る動きベクトル１０２を参照することで、入力画像１０
１の領域分割が動きの異なる領域毎となるように領域再
分割・統合をおこなう。動きパラメータ検出回路１３で
は領域分割情報１０３を参照して、供給された動きベク
トル１０２から特定領域に属する動きベクトルを選択
し、この選択された動きベクトルを用いた領域の動きを
記述する一次変換係数である動きパラメータを求める。
この処理を全ての領域でおこない、検出された動きパラ
メータ１０４を入力画像の動き情報として出力する。
いて、動きベクトル検出回路１１と領域分割回路１２と
に入力画像１０１が供給される。動きベクトル検出回路
１１では入力画像１０１の画素毎あるいは小ブロック毎
の動きベクトル１０２を検出して動きパラメータ検出回
路１３に供給する。一方、領域分割回路１２では入力画
像１０１を動きの異なる複数の領域に分割し、領域分割
の状態を示す領域分割情報１０３を出力する。なお領域
分割回路１２では動きベクトル検出回路１１の出力であ
る動きベクトル１０２を参照することで、入力画像１０
１の領域分割が動きの異なる領域毎となるように領域再
分割・統合をおこなう。動きパラメータ検出回路１３で
は領域分割情報１０３を参照して、供給された動きベク
トル１０２から特定領域に属する動きベクトルを選択
し、この選択された動きベクトルを用いた領域の動きを
記述する一次変換係数である動きパラメータを求める。
この処理を全ての領域でおこない、検出された動きパラ
メータ１０４を入力画像の動き情報として出力する。
【００３４】図２は第２の本発明の一実施例のブロック
図である。
図である。
【００３５】本実施例の動画像の動き情報検出方式にお
いて、動きパラメータ検出の対象としている領域に属す
るＮ個の実測値、すなわち動きベクトル（ｖx i ，ｖy
i ）とその実測座標位置（ｘi ，ｙi ）（但しｉ＝１〜
Ｎ）を選択する。次に、Ｎ個の実測座標位置（ｘi ，ｙ
i ）が重心点検出回路２１に供給され、Ｎ個の実測点の
重心座標位置（ｘc ，ｙc ）を計算により求める。さら
に重心点検出回路２１はＮ個の実測点の座標位置を計算
により求めた重心座標位置（ｘc ，ｙc ）との相対座標
位置（ｘr i ，ｙr i ）＝（ｘi −ｘc ，ｙi −ｙc ）
に変換して平均値検出回路２２，２３，２４に供給す
る。また平均値検出回路２２にはＮ個の動きベクトル実
測値のｙ方向成分ｖx i が供給され、平均値検出回路２
４にはＮ個の動きベクトル実測値のｙ方向成分ｖy i が
供給される。各平均値計算回路は各種平均値を計算して
一次変換係数検出回路２５，２６に供給する。一次変換
係数検出回路２５では供給された各種平均値から作用項
に示した式（８）を用いて一次変換係数ａ，ｂ，ｅを計
算して出力する。また同様の方法により一次変換係数検
出回路２６では一次変換係数ｃ，ｄ，ｆを計算して出力
する。この様にして求めた係数（ａ，ｂ，ｃ，ｄ，ｅ，
ｆ）を領域の動きパラメータとする。さらに一次変換係
数ａ，ｂ，ｃ，ｄを作用項に示した式（２）を用いてＡ
１，Ａ２に変換して、係数（Ａ１，Ａ２，ｅ，ｆ）の組
合せを動きパラメータとして出力することも可能であ
る。また以上の処理を画像内の各領域について実行し
て、領域毎に動きパラメータを得る。
いて、動きパラメータ検出の対象としている領域に属す
るＮ個の実測値、すなわち動きベクトル（ｖx i ，ｖy
i ）とその実測座標位置（ｘi ，ｙi ）（但しｉ＝１〜
Ｎ）を選択する。次に、Ｎ個の実測座標位置（ｘi ，ｙ
i ）が重心点検出回路２１に供給され、Ｎ個の実測点の
重心座標位置（ｘc ，ｙc ）を計算により求める。さら
に重心点検出回路２１はＮ個の実測点の座標位置を計算
により求めた重心座標位置（ｘc ，ｙc ）との相対座標
位置（ｘr i ，ｙr i ）＝（ｘi −ｘc ，ｙi −ｙc ）
に変換して平均値検出回路２２，２３，２４に供給す
る。また平均値検出回路２２にはＮ個の動きベクトル実
測値のｙ方向成分ｖx i が供給され、平均値検出回路２
４にはＮ個の動きベクトル実測値のｙ方向成分ｖy i が
供給される。各平均値計算回路は各種平均値を計算して
一次変換係数検出回路２５，２６に供給する。一次変換
係数検出回路２５では供給された各種平均値から作用項
に示した式（８）を用いて一次変換係数ａ，ｂ，ｅを計
算して出力する。また同様の方法により一次変換係数検
出回路２６では一次変換係数ｃ，ｄ，ｆを計算して出力
する。この様にして求めた係数（ａ，ｂ，ｃ，ｄ，ｅ，
ｆ）を領域の動きパラメータとする。さらに一次変換係
数ａ，ｂ，ｃ，ｄを作用項に示した式（２）を用いてＡ
１，Ａ２に変換して、係数（Ａ１，Ａ２，ｅ，ｆ）の組
合せを動きパラメータとして出力することも可能であ
る。また以上の処理を画像内の各領域について実行し
て、領域毎に動きパラメータを得る。
【００３６】図３は第３の本発明の一実施例のブロック
図である。
図である。
【００３７】本実施例の動き補償フレーム間予測符号化
方式において、領域分割再現回路３１に領域分割情報１
０３が供給されて、入力画像の領域分割状態を再現し各
領域の座標位置情報３０１を動きベクトル展開回路３２
に供給する。動きベクトル展開回路３２では領域毎の座
標位置情報３０１を利用した計算により、領域毎に供給
された動きパラメータ１０４から画素毎あるいは小ブロ
ック毎の動きベクトル３０２を展開して求める。展開さ
れた動きベクトル３０２は動き補償フレーム間予測符号
化回路３９に供給されて、入力画像１０１に対する領域
毎の動き補償を用いた符号化を実現する。
方式において、領域分割再現回路３１に領域分割情報１
０３が供給されて、入力画像の領域分割状態を再現し各
領域の座標位置情報３０１を動きベクトル展開回路３２
に供給する。動きベクトル展開回路３２では領域毎の座
標位置情報３０１を利用した計算により、領域毎に供給
された動きパラメータ１０４から画素毎あるいは小ブロ
ック毎の動きベクトル３０２を展開して求める。展開さ
れた動きベクトル３０２は動き補償フレーム間予測符号
化回路３９に供給されて、入力画像１０１に対する領域
毎の動き補償を用いた符号化を実現する。
【００３８】
【発明の効果】以上説明したように本発明は、動きの異
なる領域毎に動き補償フレーム間予測をおこなうので、
より正確な動き補償を可能とし予測効率の高い動き補償
フレーム間予測符号化を実現することができる。また領
域の動きを座標位置の一次変換係数である動きパラメー
タで表現するので、領域の動きをより正確に記述しなが
ら動き情報を効率的に削減することが可能となる。
なる領域毎に動き補償フレーム間予測をおこなうので、
より正確な動き補償を可能とし予測効率の高い動き補償
フレーム間予測符号化を実現することができる。また領
域の動きを座標位置の一次変換係数である動きパラメー
タで表現するので、領域の動きをより正確に記述しなが
ら動き情報を効率的に削減することが可能となる。
【図１】第１の本発明の一実施例のブロック図である。
【図２】第２の本発明の一実施例のブロック図である。
【図３】第３の本発明の一実施例のブロック図である。
【図４】動画像のフレーム間動きベクトルを説明するた
めの図である。
めの図である。
１１ 動きベクトル検出回路 １２ 領域分割回路 １３ 動きパラメータ検出回路 ２１ 重心点検出回路 ２２，２３，２４ 平均値検出回路 ２５，２６ 一次変換係数検出回路 ３１ 領域分割再現回路 ３２ 動きベクトル展開回路 ３３ フレームメモリ ３４ 差分器 ３５ 量子化器 ３６ 逆量子化器 ３７ 加算器 ３８ 符号変換回路 ３９ 動き補償フレーム間予測符号化回路
Claims (3)
- 【請求項１】 動画像のフレーム間の動きを異なる複数
の領域に分割しこの領域の分割状態を示す領域分割情報
として出力する領域分割手段と、前記動画像の画素毎あ
るいは小ブロック毎にフレーム間の動きベクトルを検出
する動きベクトル検出手段と、前記領域分割情報と前記
動きベクトルとにより位置座標に関する一次変換の係数
であり前記領域毎に領域内部の動きを特徴づける動きパ
ラメータを検出し動き情報として出力する動きパラメー
タ検出手段とを備えることを特徴とする動画像の符号化
方式。 - 【請求項２】 前記領域毎の動きパラメータの検出にお
いて、前記領域の動きを座標位置の一次変換関数で記述
し、前記一次変換関数を特徴づける動きパラメータの検
出に際して前記領域における動きベクトルが実測された
複数の座標位置の重心点を検出し、前記座標位置を前記
重心点からの相対座標位置に変換し、前記動きベクトル
と前記相対座標位置により最小２乗誤差法を用いて前記
動きパラメータを計算することを特徴とする請求項１記
載の動画像の符号化方式。 - 【請求項３】 前記領域分割情報により前記動画像を動
きの異なる複数の領域に分割する領域分割再現手段と、
前記領域分割された領域別に前記動きパラメータから画
素毎または小ブロック毎の座標位置により異なる動きベ
クトルを再計算して展開する手段と、前記展開された動
きベクトルにより動き補償をおこなう動き補償フレーム
間予測手段とを備えることを特徴とする請求項１記載の
動画像の符号化方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3000523A JP2913846B2 (ja) | 1991-01-08 | 1991-01-08 | 動画像の符号化方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3000523A JP2913846B2 (ja) | 1991-01-08 | 1991-01-08 | 動画像の符号化方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04347987A JPH04347987A (ja) | 1992-12-03 |
| JP2913846B2 true JP2913846B2 (ja) | 1999-06-28 |
Family
ID=11476131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3000523A Expired - Fee Related JP2913846B2 (ja) | 1991-01-08 | 1991-01-08 | 動画像の符号化方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2913846B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0730896A (ja) * | 1993-06-25 | 1995-01-31 | Matsushita Electric Ind Co Ltd | 動きベクトル符号化及び復号化方法 |
| US6798834B1 (en) | 1996-08-15 | 2004-09-28 | Mitsubishi Denki Kabushiki Kaisha | Image coding apparatus with segment classification and segmentation-type motion prediction circuit |
| JP2000043658A (ja) * | 1998-07-27 | 2000-02-15 | Sony Corp | 車両用警告／記録装置、及び動き検出装置 |
| US20080232477A1 (en) * | 2005-09-01 | 2008-09-25 | Koninklijke Philips Electronics, N.V. | Method and Device For Coding and Decoding of Video Error Resilience |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0310488A (ja) * | 1989-06-07 | 1991-01-18 | Nippon Steel Corp | 輝度分割領域の動きベクトル検出法 |
-
1991
- 1991-01-08 JP JP3000523A patent/JP2913846B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04347987A (ja) | 1992-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3277418B2 (ja) | 動きベクトル検出装置および方法 | |
| US7227896B2 (en) | Method and apparatus for global motion estimation | |
| US5581308A (en) | Method and apparatus for determining true motion vectors for selected pixels | |
| US6418168B1 (en) | Motion vector detection apparatus, method of the same, and image processing apparatus | |
| WO2001010135A1 (en) | Moving vector detecting method | |
| JP2009520975A (ja) | ステレオビジョンにおいて密な視差場を求める方法 | |
| US6266371B1 (en) | Motion vector detecting apparatus and method | |
| JP2586686B2 (ja) | 動画像の動き情報検出装置および動画像の動き補償フレーム間予測符号化装置 | |
| JPH10322705A (ja) | 動き検出及び動き補償予測回路 | |
| JP2913846B2 (ja) | 動画像の符号化方式 | |
| US7221390B1 (en) | Computer-assisted motion compensation of a digitized image | |
| JPH0478286A (ja) | 初期偏位ベクトルを用いた動きベクトルの検出方法 | |
| KR19980075571A (ko) | 2차원 삼각형 조각 선격자 모델을 이용한 동영상의 움직임 추정방법 | |
| JP3700230B2 (ja) | 動画像符号化における動き補償方法 | |
| JP3277419B2 (ja) | 動きベクトル検出装置および方法 | |
| JP2878580B2 (ja) | 階層的動ベクトル検出方法 | |
| JP3309519B2 (ja) | 動きベクトル検出装置 | |
| JP2861971B2 (ja) | 動ベクトル予測装置 | |
| JP2616552B2 (ja) | 動画像の符号化・復号化装置 | |
| JP3171249B2 (ja) | 動画像符号化の動きベクトル探索方法 | |
| JPH03253180A (ja) | 画像生成方法 | |
| JP3716437B2 (ja) | 画像生成装置および学習装置 | |
| JP2000324495A (ja) | フィールド周波数変換装置および変換方法 | |
| JP4078733B2 (ja) | 動きベクトル検出方法及び装置 | |
| JPH11243546A (ja) | 画像符号化装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990316 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080416 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090416 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100416 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |