JP3654664B2 - 画像符号化装置及び画像復号装置 - Google Patents
画像符号化装置及び画像復号装置 Download PDFInfo
- Publication number
- JP3654664B2 JP3654664B2 JP19823094A JP19823094A JP3654664B2 JP 3654664 B2 JP3654664 B2 JP 3654664B2 JP 19823094 A JP19823094 A JP 19823094A JP 19823094 A JP19823094 A JP 19823094A JP 3654664 B2 JP3654664 B2 JP 3654664B2
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- image
- motion compensation
- unit
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【産業上の利用分野】
本発明は、画像符号化装置及び画像復号装置に関し、より詳細には、幾可学変換によって予測画像を求めるモードと並行移動によって予測画像を求めるモードとをブロック毎に適応的に切り換え、予測効率を向上させるようにした画像符号化装置及び画像復号装置に関する。例えば、ディジタル画像処理における画像データの高能率符号化に適用されるものである。
【０００２】
【従来の技術】
フレーム間予測の方式として、従来よりアフィン変換を用いた予測方法が検討されている。例えば、公知文献「Ｖery Ｌow Ｂitrate Ｖideo Ｃoder using Ｗarping Ｐrediction」（1993年画像符号化シンポジウム8-7,pp.167-168）や、公知文献「Ａ Ｎovel Ｖideo Ｃoding Ｓcheme Ｂased on Ｔemporal ＰredictionＵsing Ｄigital Ｉmage Ｗarping」（ＩＥＥＥ Ｉnternational Ｃonference on Ｃonsumer Ｅlectronics,1993）に述べられている方法では、図１２に示すように格子の変形によって画像の動きを表現し、参照画像（通常、符号化装置では局所復号されフレームメモリに蓄えられている画像であり、復号装置ではすでに復号されフレームメモリに蓄えられている画像である）からの幾何学変換によって予測画像が作成される。ここで●は格子点（四角形ブロックの頂点）を表す。
【０００３】
図１３は、従来の画像符号化装置における予測画像作成回路の構成図で、図中、３２は四角形ブロックの分割部、３３は格子点動き推定部、３４は動き補償予測部である。
四角形ブロックへの分割部３２では参照画像を四角形に分割する。分割する際には、例えば、参照画像に無関係に正方格子などの一様格子によって分割する方法がとられる。あるいは、参照画像上のエッジにあわせて変形格子によって分割する方法が用いられることもある。格子点動き推定部３３では参照画像の格子点の動きを推定し、各格子点の動ベクトルを求める。この動ベクトルによって予測画像上にあらたな変形格子が定められる。
【０００４】
図１３に示す方法は「後方動き推定」と呼ばれるものであり、最初に参照画像上の格子を決め、その後で予測対象画像上の格子が決定される。これに対して「前方動き推定」という手法がとられることもある。これは、最初に予測対象画像上で格子（通常は一様格子）を定め、その格子点の動きを推定し、格子点の動ベクトルによって参照画像上にあらたに変形格子を定める。従来例及び本発明ともにいずれの場合にも用いることができるが、以後は簡単のため「後方動き推定」を例にとって説明を進めていく。
【０００５】
次に、参照画像上の格子点が、原画像上のどの位置に動いたかを推定する場合（「後方動き推定」の場合）について説明する。
動き推定の方法としては、参照画像上の格子点とその近傍の画素からなる領域をとり、この領域が原画像上のどの領域と一致するかを調べる方法（「ブロックマッチング」と呼ぶ）が用いられる。具体的には参照画像上の格子点を中心としてＭ画素×Ｎ画素の領域を考え、原画像上で同じ大きさの領域との一致度を調べ、最も一致度の良い領域の中心を、格子点の移動先とする。このときの移動をあらわすベクトルを動ベクトルと呼ぶ。領域の一致度としては、領域内の画素値の誤差の絶対値和や誤差の絶対値加重和が用いられる。なお、格子点動き推定部３３で求められた格子点の動ベクトルは、図示しない符号化部において符号化され、符号化データに組み込まれて伝送あるいは蓄積される。
【０００６】
動き補償予測部３４では、参照画像上の格子点とその動ベクトル及び参照画像を用いて予測画像を求める。予測画像を求める方法としては、三角形ブロックを用いたアフィン変換や、四角形ブロック内での動ベクトルの補間などによるものがある。これらについては先の公知文献「Ｖery Ｌow Ｂitrate Ｖideo Ｃoder Using Ｗarping Ｐrediction」（1993年画像符号化シンポジウム8-7,pp.167-168）に詳しく述べられている。
【０００７】
符号化装置では、動き補償予測部３４で求められた予測画像と原画像との差分データが、図示しない符号化部において符号化され、符号化データに組み込まれて伝送あるいは蓄積される。又、符号化データは図示しない復号部において復号され、予測画像と足し合わされて復号画像が得られる。復号画像はフレームメモリに蓄えられ、以後の符号化の際の参照画像として用いられる。
【０００８】
次に、従来の画像復号装置について説明する。
図１４は、従来の画像復号装置における予測画像作成回路の構成図で、図中、４１は格子点動ベクトル復号部、４２は動き補償予測部、４３は四角形ブロックへの分割部である。
格子点動ベクトル復号部４１は、符号化データ中に組み込まれている格子点の動ベクトルの符号を復号する部分である。出力は格子点の動ベクトルであり、動き補償予測部４２に供給される。四角形ブロックへの分割部４３及び動き補償予測部４２は、図１３の符号化装置と同様の働きをするので説明を省略する。
【０００９】
復号装置では、符号化装置と同じ参照画像が得られており、また、格子点動ベクトル復号部４１において得られる動ベクトルも、符号化装置で得られるものと同一である。従って、動き補償予測部４２で得られる予測画像も、符号化装置で得られるものと同一となる。動き補償予測部３３で求められた予測画像と、図示しない復号部で得られた差分データの復号値が足し合わされて、復号画像が得られる。復号画像は、ディスプレイなどに表示されると共に図示しないフレームメモリに蓄えられ、以後の復号の際の参照画像として用いられる。
【００１０】
【発明が解決しようとする課題】
図１５（ａ）,（ｂ）及び図１６（ａ）〜（ｃ）は、従来の問題点を説明するための図である。
図１５（ａ）は参照画像のある一部を表し、図１５（ｂ）は予測対象画像の一部を表すものとする。図１５に示すように、斜めの縞模様を背景に長方形の物体が反時計周りに回転しながら左に移動している。●は格子点を表す。ここで、参照画像上の格子点ａ，ｂ，ｃ，ｄ，ｅ，ｆから形成される２つのブロック（四角形abdcと四角形befd）に注目すると、静止した背景上の四角形abdcが大きく変形し、四角形ＡＢＤＣとなっている。これら２つのブロックを取り出して図１６（ａ）,（ｂ）に示す。
【００１１】
図１６（ａ）は、図１５（ａ）の注目する２ブロックを示し、図１６（ｂ）は、図１５（ｂ）の注目する２ブロックを示したものである。このような場合に従来法によって予測画像を作成したものが、図１６（ｃ）である。左のブロックの斜めの模様が、幾何学変換によって変形し、図１６（ｂ）に示した予測対象画像（原画像）と異っていることが分かる。
【００１２】
一般に、動物体に接する背景画像上のブロックは、動物体の動きに伴って形が変化する。従来法によれば、背景画像は静止、あるいは並行移動しているにもかかわらず、その予測画像は変形や回転などの幾何学変換によって作成される。このため、予測効率が低下するという問題点があった。なお、ここでいう並行移動とは各画素の動きが平行であることを示す。
【００１３】
図１７（ａ）〜（ｃ）は、従来の他の問題点を説明するための図である。
図１７（ａ）は参照画像のある一部を表し、図１７（ｂ）は予測対象画像の一部を表すものとする。図１７に示すように、物体１が左下方向に、物体２が右上方向に動いている。ここで、参照画像上の格子点ａ，ｂ，ｃ，ｄ，ｅ，ｆから形成される２つのブロックに注目する。これらの格子点のうち、ｃ，ｅは物体の動きによって予測対象画像上のＣ，Ｅに移動しているが、ａ，ｂ，ｄ，ｆは移動しない。
このような場合、従来法によれば、図１７（ｃ）のようになる。物体は並行移動しているにも関わらず、幾何学変換を受けて歪んでしまう。一般に、隣接したブロック上の複数の物体が別々の方向に並行移動するとき、前述のような幾何学的な歪みが発生することになる。
【００１４】
本発明は、このような実情に鑑みてなされたもので、幾何学変換によって予測画像を求めるモードと並行移動によって予測画像を求めるモードとをブロック毎に適応的に切り換え、予測効率を向上させるようにした画像符号化装置及び画像復号装置を提供することを目的としている。
【００１５】
【発明を解決するための手段】
本発明は、上記課題を解決するために、
（１）画像を分割して得られる各ブロックに対して予測画像を求める動き補償予測手段と、動き補償予測に用いる動き情報を符号化する符号化手段と、前記動き補償予測手段で用いられる予測モードを選択する選択手段とを備えた画像符号化装置であって、前記動き補償予測手段は、アフィン変換または動ベクトルの補間により予測画像を作成する第１の予測モードと、並行移動により予測画像を作成する第２の予測モードを有し、前記選択手段は、前記予測モードのいずれかをブロック毎に選択し、前記動き情報は、前記選択された予測モードを示す予測モード情報を含むことを特徴とする。
（２）画像を分割して得られる各ブロックに対して予測画像を求める動き補償予測手段と、動き補償予測に用いる動き情報を復号する復号手段と、前記動き補償予測手段で用いられる予測モードを選択する選択手段とを備えた画像復号装置であって、前記動き補償予測手段は、アフィン変換または動ベクトルの補間により予測画像を作成する第１の予測モードと、並行移動により予測画像を作成する第２の予測モードを有し、前記選択手段は、前記予測モードのいずれを選択するかを示す予測モード情報に従って前記予測モードをブロック毎に選択し、前記動き情報は、前記予測モード情報を含むことを特徴とする。
【００１６】
【作用】
本発明の画像符号化装置によれば、複数の動き補償予測モードをブロック毎に適応的に選択でき、予測効率を向上することができる。前記動き補償予測手段は、アフィン変換または動ベクトルの補間により予測画像を作成する第１の予測モードと、並行移動により予測画像を作成する第２の予測モードを有しているので、予測モード情報を少なくすることができる。
【００１７】
本発明の復号装置によれば、複数の動き補償予測モードをブロック毎に適応的に選択でき、予測効率を向上することができる。また、動ベクトルの情報や予測モードの情報は符号化装置で得られたものを用いるので、符号化装置で得られた予測画像と同一の予測画像が得られる。複数の動き補償予測手段として、アフィン変換または動ベクトルの補間により予測画像を作成する第１の予測モードと、並行移動により予測画像を作成する第２の予測モードを有し、予測モード情報を少なくすることができる。また、動ベクトルの情報や予測モードの情報は符号化装置で得られたものを用い、動ベクトルの決定手段は符号化装置と同一であるので、符号化装置で得られた予測画像と同一の予測画像が得られる。
【００１９】
【実施例】
実施例について、図面を参照して以下に説明する。
まず、本発明の考え方を図１１によって説明する。図１１は、予測画像上の注目するブロック（四角形ＡＢＤＣ）の予測画像（１ブロック分）を、本発明の手法によって求める様子を示したものである。従来法と同様に、参照画像上の四角形ａｂｄｃは、格子の変形による幾何学変換を用いて変形され、Ｐ１のような予測画像が得られる。一方、参照画像上の四角形ａ′ｂ′ｄ′ｃ′の並行移動によって別の予測画像Ｐ２が得られる。本発明では、これら複数の予測画像をブロック毎に適応的に選択し、いずれかを実際の予測画像として用いる。ここで、並行移動とはブロック内画素が全て平行に移動することであり、ブロックの形状は変化せず、位置のみが移動することを意味する。
【００２０】
図１６（ｄ）は、本発明によって作成した予測画像の例である。左側のブロックの予測方法として、図１６（ａ）の四角形ａｂｄｃを幾何学変換するものと図１６（ａ）の点線で囲まれた部分を並行移動するものとがある。この場合は後者を適応的に選択し、図１６（ｄ）の予測画像を得ている。図から分かるように従来法の問題であった幾何学的な歪みは発生しない。
また、図１７（ｄ）は、本発明によって作成した予測画像の他の例である。左側のブロックの予測画像として図１７（ａ）の点線で囲まれた部分を並行移動し、右側のブロックの予測画像として図１７（ａ）の一点鎖線で囲まれた部分を並行移動することによって予測画像を得ている。図から分かるように従来法の問題であった幾何学的な歪み（図１７（ｃ）参照）は発生しない。
【００２１】
図１は、本発明による画像符号化装置の一実施例を説明するための構成図で、図中、１は四角形ブロックへの分割部、２は格子点動き推定部、３は並行移動動き推定部、４は第１の動き補償予測部、５は第２の動き補償予測部、６は予測画像選択部である。
四角形ブロックへの分割部１及び格子点動き推定部２は、図１３で述べたものと同様の働きによって、参照画像を四角形に分割し、格子点の動ベクトルを求める部分である。格子点の動ベクトルは第１の動き補償予測部４に供給される。なお、四角形ブロックへの分割部１は他の符号化装置の実施例でも使用するが、以後の図４〜図６では図示せず、説明を省略する。
【００２２】
並行移動動き推定部３は、参照画像上のブロックの移動方向をブロックマッチング等の手法によって求める部分である。前述したブロックマッチングは、格子点周りの領域が予測対象画像上の同一形状のどの領域とマッチするかを調べるものであった。しかし、ここではブロック自体を領域とみなし、この領域が予測対象画像上の同一形状のどの領域とマッチするかを調べる。これによって、ブロック自体が並行移動する場合の動ベクトル（並行移動ベクトル）が求められる。並行移動の動ベクトルは第２の動き補償予測部５に供給される。
【００２３】
第１の動き補償予測部４は、図１３で説明した動き補償予測部３３と同様の働きによって、幾何学変換による動き補償予測を行う。出力された予測画像は予測画像選択部６に供給される。第２の動き補償予測部５は並行移動によって動き補償予測を行う。出力された予測画像は予測画像選択部６に供給される。
予測画像選択部６は本発明の手法により、予測画像をブロック毎に適応的に選択し、予測画像と予測モード情報を出力する。予測モード情報は図示しない符号化部において符号化され、符号化データに組み込まれて伝送あるいは蓄積される。予測画像の選択方法としては、原画像との誤差を最小にするものや、原画像との重みつき誤差を最小にするものなどが考えられる。以下、これらについて説明する。
【００２４】
図２は、図１における予測画像選択部の一例を示す構成図で、図中、７は第１の誤差算出部、８は第２の誤差算出部、９は選択部である。
ここでは予測画像を２種類としているが、もちろんこれに限るものではない。第１の誤差算出部７は、原画像と予測画像▲１▼のデータを１ブロック分入力し、予測誤差を算出する部分である。予測誤差は、原画像の画素値ｆ(ｎ)と予測画像の画素値ｆ(ｎ)′とを用いて、
【００２５】
【数１】
【００２６】
によって計算される。ただし、ｎはブロック内での画素の番号、Ｎはブロック内の画素数である。ここでは２乗誤差による予測誤差を示したが、絶対値誤差を用いても良い。第２の誤差算出部８は第１の誤差算出部７と同様の働きによって、予測誤差を算出する部分である。選択部９は、各予測誤差を比較し予測誤差が最小となる予測画像及び、予測モード情報を出力する。例えば、第２の誤差算出部８の誤差が最小であれば、予測画像▲２▼を選択して出力する。また、予測モード情報として予測画像▲２▼を表す情報を出力する。予測方法が２種類ある場合、例えば、予測モード情報を固定長符号で表すと１ブロック当たり１ビット必要となる。
【００２７】
図３は、図１における予測画像選択部の他の例を示す構成図で、図中、１０は第１の直交変換部、１１は第２の直交変換部、１２は第３の直交変換部で、その他、図２と同じ作用をする部分は同一の符号を付してある。
第１の直交変換部１０〜第３の直交変換部１２は入力された１ブロック分の画素値を２次元直交変換し、周波数成分に変換する。図３の第１の誤差算出部７、第２の誤差算出部８は、原画像の直交変換係数ｇ(ｋ)と予測画像の直交変換係数ｇ(ｋ)´との重みつき誤差（予測誤差）を以下のようにして算出する部分である。
【００２８】
【数２】
【００２９】
ただし、ｋは直交変換係数の番号、Ｎはブロック内の画素数、ｗ(ｋ)はあらかじめ定められた重みである。ここでは２乗誤差による予測誤差を示したが、絶対値誤差を用いても良い。例えば、重みｗ(ｋ)を低周波では大きく高周波では小さく設定することによって、人間の視覚特性に合致した予測誤差が計算される。図３の選択部９は、図２の選択部９と同様の働きによって予測画像を選択し、予測画像と予測モード情報とを出力する。
【００３０】
以上のようにして、図１に示した符号化装置によって、複数の動き補償予測方式を切替えることができる。すなわち、幾何学変換を用いた動き予測方式と、並行移動による動き予測方式とをブロック毎に適応的に切替えることができる。この結果、予測効率を改善して符号化効率を向上させることができる。
【００３１】
図４は、本発明による画像符号化装置の他の実施例を説明するための構成図で、図中、１３は第３の動き補償予測部、１４は第４の動き補償予測部、１５は第５の動き補償予測部で、その他、図１と同じ作用をする部分は同一の符号を付してある。
格子点動き推定部２は、図１３で述べたものと同様の働きによって、格子点の動ベクトルを求める部分である。格子点の動ベクトルは第１の動き補償予測部４〜第５の動き補償予測部１５に供給される。第１の動き補償予測部４は、図１３で説明した動き補償予測部３３と同様の働きによって、幾何学変換による動き補償予測を行う。出力された予測画像は予測画像選択部６に供給される。
【００３２】
第２の動き補償予測部５〜第５の動き補償予測部１５は、並行移動による動き補償予測を行う。予測に用いる動ベクトルは注目するブロックの４つの格子点の動ベクトルである。各格子点の動ベクトルをそれぞれＶ１，Ｖ２，Ｖ３，Ｖ４とすると、第２の動き補償予測部５では動ベクトルＶ１を、第３の動き補償予測部１３では動ベクトルＶ２を、第４の動き補償予測部１４では動ベクトルＶ３を、第５の動き補償予測部１５では動ベクトルＶ４をそれぞれ用い、並行移動による動き補償予測を行う。作成された予測画像はそれぞれ予測画像選択部６に供給される。予測画像選択部６は本発明の手法により、予測画像を適応的に選択し、予測画像と予測モード情報を出力する。具体的には既に述べた手法（図２，図３）を用いる。ただし、ここでは予測画像は５種類となる。
【００３３】
以上のようにして、図４に示した符号化装置によって、複数の動き補償予測方式を切替えることができる。すなわち、幾何学変換を用いた動き予測方式と、並行移動による４つの動き予測方式とをブロック毎に適応的に切替えることができる。この結果、予測効率を改善し符号化効率を向上させることができる。また、ブロックの並行移動を示す動ベクトルを符号化しなくても良いので符号化データ量を小さくすることができる。
【００３４】
図５は、本発明による画像符号化装置の更に他の実施例を説明するための構成図で、図中、１６は並列移動ベクトル決定部で、その他、図４と同じ作用をする部分は同一の符号を付してある。図４との違いは、並行移動による動き補償予測を行う部分（並行移動ベクトル決定部１６及び第２の動き補償予測部５）である。
【００３５】
並行移動ベクトル決定部１６では、１つのブロックに属する４個の格子点の動ベクトルと参照画像（いずれも復号装置でも得られる情報である）をもとに、ブロック自体の並行移動を表す動ベクトルを決定する。ここで求められた並行移動ベクトルは第２の動き補償予測部５に供給される。例えば、４個の格子点動ベクトルの平均値を求める並行移動ベクトルとする。この場合は参照画像の情報を用いないので、並行移動ベクトル決定部１６への参照画像の入力はない。
【００３６】
あるいは他の並行移動ベクトル決定方法として次のようなものが考えられる。すなわち、１フレーム前の参照画像と、２フレーム前の参照画像から注目するブロックの並行移動ベクトルを図１に示す実施例の説明で述べたようなブロックマッチングによって探索する。ここで求められた動ベクトルを求める並行移動ベクトルとする。又は、４個の格子点動ベクトル及びその平均ベクトルを、探索された動ベクトルと比較し、最も近いものを求める並行移動ベクトルとしてもよい。
【００３７】
図５における第２の動き補償予測部５は、入力された動ベクトルに基づき、並行移動によって動き補償予測を行う。予測画像選択部６は、２種類の予測画像の内、予測誤差の小さいものを選択し、選択された予測画像と予測モード情報を出力する。選択方法は、図２，図３に示したものと同様である。本実施例の符号化装置によれば、予測モード情報は１ブロック当たり１ビットですむので、予測モード情報にかかるデータ量が削減できる。
【００３８】
図６は、本発明による画像符号化装置の更に他の実施例を説明するための構成図で、図中、１７は制御部、１８は予測モード選択部で、その他、図５と同じ作用をする部分は同一の符号を付してある。図５との違いは、予測画像選択部６をなくし、その代わりに予測モード選択部１８と制御部１７とスイッチ▲１▼及びスイッチ▲２▼を設けた点にある。
【００３９】
予測モード選択部１８では、動ベクトルや参照画像など復号装置でも得られる情報をもとに予測モードを決定する。モード０が幾何学変換による動き補償予測をあらわし、モード１が並行移動による動き補償予測をあらわすものとする。決定された予測モードは制御部１７に供給される。
【００４０】
例えば、動ベクトルから、注目するブロックの大きさの変化を知ることができる。ブロックが大きく変化する場合は、隣接したブロックの動きが原因であることが多く、注目するブロック自体は静止あるいは並行移動していることが多いので、並行移動による動き補償予測のモードを選択する。すなわち、ブロック中に含まれる画素数の変化を調べ、この変化がしきい値より大きな場合は並行移動による動き補償予測のモードを、それ以外の場合は幾何学変換による動き補償予測のモードを選択する。
【００４１】
あるいは、他の予測モード選択方法として次のようなものが考えられる。
すなわち、１フレーム前の参照画像と、２フレーム前の参照画像から注目するブロックの動ベクトルをブロックマッチングによって探索する。この時のブロックマッチングの最小誤差が、しきい値より小さければ並行移動による動き補償予測のモードを、それ以外の場合は幾何学変換による動き補償予測のモードを選択する。なお、ここで述べたしきい値は理論的あるいは経験的に定められるものである。これらはあらかじめ定めておいても良いし、手動あるいは自動で適宜変化させてもよい。
【００４２】
制御部１７では、前述のように決定された予測モードをもとにスイッチ▲１▼及びスイッチ▲２▼を制御する。すなわち、予測モードが０の場合は、スイッチ▲１▼及びスイッチ▲２▼を第１の動き補償予測部４の側にして幾何学変換による動き補償予測を行う。予測モードが１の場合は、スイッチ▲１▼及びスイッチ▲２▼を第２の動き補償予測部５の側にして並行移動による動き補償予測を行う。このように、本実施例の符号化装置によれば、復号装置でも得られる情報をもとに予測モードを決定するので、予測モード情報を符号化する必要がなく、データ量が削減できる。
【００４３】
図７は、本発明による画像復号装置の一実施例を説明するための構成図で、図中、２１は制御部、２２は格子点動ベクトル復号部、２３は並行移動ベクトル復号部、２４は四角形ブロックへの分割部、２５は第１の動き補償予測部、２６は第２の動き補償予測部である。本実施例は、図 1 とともに上述した符号化装置で作成された符号化データを復号する復号装置である。
【００４４】
格子点動ベクトル復号部２２は、図１４で述べたものと同様の働きによって、符号化データから格子点動ベクトルを復号する部分である。並行移動ベクトル復号部２３は、符号化データから並行移動ベクトルを復号する部分である。四角形ブロックへの分割部２４は、図１４で述べたものと同様の働きによって、参照画像を四角形に分割する部分である。なお、四角形ブロックへの分割部２４は、他の復号装置の実施例でも使用するが、以後の図８〜図１０では図示せず、説明を省略する。
【００４５】
制御部２１は本発明の手法により、符号化データ中の予測モード情報をもとに、スイッチを制御する。すなわち、予測モード情報が幾何学変換による動き補償予測を表す場合はスイッチを第１の動き補償予測部２５の側にし、予測モード情報が並行移動による動き補償予測を表す場合はスイッチを第２の動き補償予測部２６の側に切替える。第１の動き補償予測部２５と第２の動き補償予測部２６の動きは、図１に示した符号化装置のものと全く同様である。
【００４６】
以上のようにして、図７に示す復号装置において、符号化装置と同一の予測モードが選択され、同一の予測画像が得られる。この予測画像と図示しない復号部で得られた差分データの復号値が足し合わされて、復号画像が得られる。復号画像はディスプレイなどに表示されると共に図示しないフレームメモリに蓄えられ、以後の復号の際の参照画像として用いられる。
【００４７】
図８は、本発明による画像復号装置の他の実施例を説明するための構成図で、図中、２７は第３の動き補償予測部、２８は第４の動き補償予測部、２９は第５の動き補償予測部で、その他、図７と同じ作用をする部分は同一の符号を付してある。本実施例は、図 4 とともに上述した符号化装置で作成された符号化データを復号する復号装置である。
【００４８】
格子点動ベクトル復号部２２は、図１４で述べたものと同様の働きによって、符号化データから格子点動ベクトルを復号する部分である。制御部２１は本発明の手法により、符号化データ中の予測モード情報をもとに、スイッチ▲１▼及びスイッチ▲２▼を制御する。すなわち、予測モード情報が幾何学変換による動き補償予測を表す場合は、スイッチ▲１▼及びスイッチ▲２▼を第１の動き補償予測部２５の側にし、予測モード情報が動ベクトルＶ１を用いた並行移動による動き補償予測を表す場合は、スイッチ▲１▼及びスイッチ▲２▼を第２の動き補償予測部２６の側にするという具合にスイッチを切替える。第３の動き補償予測部２７〜第５の動き補償予測部２９への切替えも同様にして行われる。
【００４９】
第１の動き補償予測部２５〜第５の動き補償予測部２９の働きは、図４に示した符号化装置のものと全く同様である。以上のようにして、図８に示す復号装置において、符号化装置と同一の予測モードが選択され、同一の予測画像が得られる。以後の動作は図７の実施例と同様である。
【００５０】
図９は、本発明による画像復号装置の更に他の実施例を説明するための構成図で、図中、３０は並行移動ベクトル決定部で、その他、図８と同じ作用をする部分は同一の符号を付してある。本実施例は、図 5 とともに上述した符号化装置で作成された符号化データを復号する復号装置である。
【００５１】
格子点動ベクトル復号部２２は、図１４で述べたものと同様の働きによって、符号化データから格子点動ベクトルを復号する部分である。制御部２１は本発明の手法により、符号化データ中の予測モード情報をもとに、スイッチ▲１▼及びスイッチ▲２▼を制御する。すなわち、予測モード情報が幾何学変換による動き補償予測を表す場合は、スイッチ▲１▼及びスイッチ▲２▼を第１の動き補償予測部２５の側にし、予測モード情報が並行移動による動き補償予測を表す場合は、スイッチ▲１▼及びスイッチ▲２▼を第２の動き補償予測部２６の側にする。
【００５２】
並行移動ベクトル決定部３０は、図５のものと同一の働きによって、第２の動き補償予測部２６で使用する並行移動ベクトルを決定する。また、第１の動き補償予測部２５と第２の動き補償予測部２６の働きは、図５に示した符号化装置のものと全く同様である。
以上のようにして、図９に示す復号装置において、符号化装置と同一の予測モードが選択され、同一の予測画像が得られる。以後の動作は図７の実施例と同様である。
【００５３】
図１０は、本発明による画像復号装置の更に他の実施例を説明するための構成図で、図中、３１は予測モード選択部で、その他、図９と同じ作用をする部分は同一の符号を付してある。本実施例は、図 6 とともに上述した符号化装置で作成された符号化データを復号する復号装置である。
【００５４】
格子点動ベクトル復号部２２は、図１４で述べたものと同様の働きによって、符号化データから格子点動ベクトルを復号する部分である。予測モード選択部３１は、図６のものと同様の働きにより、動ベクトルや参照画像などの情報をもとに予測モードを決定する。決定された予測モードは、制御部２１に供給される。
【００５５】
制御部２１は、図６のものと同様の働きにより、符号化データ中の予測モード情報をもとに、スイッチ▲１▼及びスイッチ▲２▼を制御する。並行移動ベクトル決定部３０は、図６のものと同一の働きによって、第２の動き補償予測部２６で使用する並行移動ベクトルを決定する。また、第１の動き補償予測部２５と第２の動き補償予測部２６の働きは、図６に示した符号化装置のものと全く同様である。
以上のようにして、図１０に示す復号装置において、符号化装置と同一の予測モードが選択され、同一の予測画像が得られる。以後の動作は図７の実施例と同様である。
【００５６】
ここで説明した符号化装置及び復号装置の実施例は、おもに時間的に一方向のみに動ベクトルを求め、これによって動き補償予測を行うものであるが、もちろん、時間的に双方向に（すなわち、前後の参照画像から）動ベクトルを求め動き補償予測を行うようにしてもよい。幾何学変換による予測では、双方向動き補償予測を用いても、図１６（ｃ）に示したような問題は解決されない。本発明を用いて並行移動による動き補償と幾何学変換による動き補償を適応的に切替えれば、異る動きをっ持た複数の物体が重なり合う場合や、回転、変形などの働きを含む場合などでも良好な予測画像を得ることができる。
以上の説明から明らかなように、本発明の各実施例によると、以下のような効果がある。
（１）画像符号化装置の予測画像作成回路において、四角形のブロックに分割する分割部と、ブロックの各頂点座標の動ベクトルを求める動き推定部と、ブロック自体の並行移動の動ベクトルを求める動き推定部と、複数の動き補償予測部と、複数の動き補償予測方法をブロック毎に適応的に選択する選択部とを備えているので、複数の動き補償予測方法をブロック毎に適応的に選択でき、予測効率を向上することができる。
これによって、例えば、従来法によれば、図１６（ｃ）の左側のブロックのように、背景の模様が幾何学変換によって歪む場合にも、本発明によれば、図１６（ａ）の点線部分から並行移動によって予測画像を得ることで、良好な予測画像が作成できる。また、従来法によれば、図１７（ｃ）のように、物体が模様が幾何学変換によって歪む場合にも、本発明によれば、図１７（ａ）の点線部分及び一点鎖線部分から並行移動によって予測画像を得ることで良好な予測画像が作成できる。
（２）ブロック自体の並行移動の動ベクトルとして前記ブロックの各頂点座標の動ベクトルを用いた、複数の動き補償予測部を備えているので、格子点の動ベクトルを用いてブロック自体の並行移動の動ベクトルを表すようにすれば、動ベクトルとしては格子点のものだけを符号化すればよいので、データ量が削減できる。
（３）ブロック自体の並行移動の動ベクトルを決定するために、前記ブロックの各頂点座標の動ベクトルの演算及び比較部を備えているので、複数の動き補償予測として、幾何学変換による動き補償予測、並行移動による動き補償予測などを用い、並行移動を行うための動ベクトルを復号装置で得られる情報をもとに決定すれば、予測モード情報を少なくすることができ、データ量が削減できる。
（４）予測画像選択部を用いる代わりに、動き補償予測方法をブロック毎に適応的に選択する際に、動ベクトルと、既に復号された参照画像の情報のみから予測方法を選択する選択部を備えるので、格子点の動ベクトルの既に復号された参照画像の情報のみから予測方法を選択すれば、予測モード情報をなくす事ができ、データ量が削減できる。
（５）画像復号装置の予測画像作成回路において、四角形のブロックに分割する分割部と、ブロックの頂点座標の動ベクトルを復号する復号部と、ブロック自体の並行移動の動ベクトルを復号する復号部と、複数の動き補償予測部と、複数の動き補償予測方法を切替える制御部とを備えているので、複数の動き補償予測方法をブロック毎に適応的に選択でき、予測効率を向上することができる。また、動ベクトルの情報や予測モードの情報は符号化装置で得られたものを用いるので、符号化装置で得られた予測画像と同一の予測画像が得られる。
（６）ブロック自体の並行移動の動ベクトルを用いた複数の動き補償予測部を備えているので、格子点の動ベクトルを用いてブロック自体の並行移動の動ベクトルを表すようにすれば、動ベクトルとしては格子点のものだけを復号すればよいので、処理量が削減できる。
（７）ブロック自体の並行移動の動ベクトルを決定するために、前記ブロックの各頂点座標の動ベクトルの演算及び比較部を備えているので、複数の動き補償予測として、幾何学変換による動き補償予測、並行移動による動き補償予測などを用い、並行移動を行うための動ベクトルを復号装置で得られた情報をもとに決定すれば、予測モード情報を少なくすることができる。
（８）複数の動き補償予測方法を切替える制御部として、動き補償予測方法をブロック毎に適応的に選択する際に、頂点座標の動ベクトルと、既に復号された参照画像の情報のみから予測方法を選択する選択部を備えているので、格子点の動 ベクトルと既に復号された参照画像の情報のみから予測方法を選択するので、予測モード情報をなくすことができる。
【００５７】
【発明の効果】
以上の説明から明らかなように、本発明によると、複数の動き補償予測モードをブロック毎に適応的に選択できるので、予測効率を向上することができる。複数の動き補償予測モードとして、幾何学変換による動き補償予測モードと、並行移動による動き補償予測モードとを備えているので、予測モード情報を少なくすることができる。また、動ベクトルの情報や予測モードの情報は符号化装置で得られたものを用いるので、符号化装置で得られた予測画像と同一の予測画像が得られる。
【図面の簡単な説明】
【図１】本発明による画像符号化装置の一実施例を説明するための構成図である。
【図２】図１における予測画像選択部の一例を示す構成図である。
【図３】図１における予測画像選択部の他の例を示す構成図である。
【図４】本発明による画像符号化装置の他の実施例を説明するための構成図である。
【図５】本発明による画像符号化装置の更に他の実施例を説明するための構成図である。
【図６】本発明による画像符号化装置の更に他の実施例を説明するための構成図である。
【図７】本発明による画像復号装置の一実施例を説明するための構成図である。
【図８】本発明による画像復号装置の他の実施例を説明するための構成図である。
【図９】本発明による画像復号装置の更に他の実施例を説明するための構成図である。
【図１０】本発明による画像復号装置の更に他の実施例を説明するための構成図である。
【図１１】本発明の動き補償予測を説明するための図である。
【図１２】従来の幾何学変換による動き補償予測を説明するための図である。
【図１３】従来の画像符号化装置における予測画像作成回路の構成図である。
【図１４】従来の画像復号装置における予測画像作成回路の構成図である。
【図１５】参照画像と予測対象画像の例を示す図である。
【図１６】従来の本発明による予測画像の比較例を示す図である。
【図１７】従来と本発明による予測画像の他の比較例を示す図である。
【符号の説明】
１…四角形ブロックへの分割部、２…格子点動き推定部、３…並行移動動き推定部、４…第１の動き補償予測部、５…第２の動き補償予測部、６…予測画像選択部、７…第１の誤差算出部、８…第２の誤差算出部、９…選択部、１０…第１の直交変換部、１１…第２の直交変換部、１２…第３の直交変換部、１３…第３の動き補償予測部、１４…第４の動き補償予測部、１５…第５の動き補償予測部、１６…並列移動ベクトル決定部、１７…制御部、１８…予測モード選択部、２１…制御部、２２…格子点動ベクトル復号部、２３…並行移動ベクトル復号部、２４…四角形ブロックへの分割部、２５…第１の動き補償予測部、２６…第２の動き補償予測部、２７…第３の動き補償予測部、２８…第４の動き補償予測部、２９…第５の動き補償予測部、３０…並行移動ベクトル決定部、３１…予測モード選択部。
【産業上の利用分野】
本発明は、画像符号化装置及び画像復号装置に関し、より詳細には、幾可学変換によって予測画像を求めるモードと並行移動によって予測画像を求めるモードとをブロック毎に適応的に切り換え、予測効率を向上させるようにした画像符号化装置及び画像復号装置に関する。例えば、ディジタル画像処理における画像データの高能率符号化に適用されるものである。
【０００２】
【従来の技術】
フレーム間予測の方式として、従来よりアフィン変換を用いた予測方法が検討されている。例えば、公知文献「Ｖery Ｌow Ｂitrate Ｖideo Ｃoder using Ｗarping Ｐrediction」（1993年画像符号化シンポジウム8-7,pp.167-168）や、公知文献「Ａ Ｎovel Ｖideo Ｃoding Ｓcheme Ｂased on Ｔemporal ＰredictionＵsing Ｄigital Ｉmage Ｗarping」（ＩＥＥＥ Ｉnternational Ｃonference on Ｃonsumer Ｅlectronics,1993）に述べられている方法では、図１２に示すように格子の変形によって画像の動きを表現し、参照画像（通常、符号化装置では局所復号されフレームメモリに蓄えられている画像であり、復号装置ではすでに復号されフレームメモリに蓄えられている画像である）からの幾何学変換によって予測画像が作成される。ここで●は格子点（四角形ブロックの頂点）を表す。
【０００３】
図１３は、従来の画像符号化装置における予測画像作成回路の構成図で、図中、３２は四角形ブロックの分割部、３３は格子点動き推定部、３４は動き補償予測部である。
四角形ブロックへの分割部３２では参照画像を四角形に分割する。分割する際には、例えば、参照画像に無関係に正方格子などの一様格子によって分割する方法がとられる。あるいは、参照画像上のエッジにあわせて変形格子によって分割する方法が用いられることもある。格子点動き推定部３３では参照画像の格子点の動きを推定し、各格子点の動ベクトルを求める。この動ベクトルによって予測画像上にあらたな変形格子が定められる。
【０００４】
図１３に示す方法は「後方動き推定」と呼ばれるものであり、最初に参照画像上の格子を決め、その後で予測対象画像上の格子が決定される。これに対して「前方動き推定」という手法がとられることもある。これは、最初に予測対象画像上で格子（通常は一様格子）を定め、その格子点の動きを推定し、格子点の動ベクトルによって参照画像上にあらたに変形格子を定める。従来例及び本発明ともにいずれの場合にも用いることができるが、以後は簡単のため「後方動き推定」を例にとって説明を進めていく。
【０００５】
次に、参照画像上の格子点が、原画像上のどの位置に動いたかを推定する場合（「後方動き推定」の場合）について説明する。
動き推定の方法としては、参照画像上の格子点とその近傍の画素からなる領域をとり、この領域が原画像上のどの領域と一致するかを調べる方法（「ブロックマッチング」と呼ぶ）が用いられる。具体的には参照画像上の格子点を中心としてＭ画素×Ｎ画素の領域を考え、原画像上で同じ大きさの領域との一致度を調べ、最も一致度の良い領域の中心を、格子点の移動先とする。このときの移動をあらわすベクトルを動ベクトルと呼ぶ。領域の一致度としては、領域内の画素値の誤差の絶対値和や誤差の絶対値加重和が用いられる。なお、格子点動き推定部３３で求められた格子点の動ベクトルは、図示しない符号化部において符号化され、符号化データに組み込まれて伝送あるいは蓄積される。
【０００６】
動き補償予測部３４では、参照画像上の格子点とその動ベクトル及び参照画像を用いて予測画像を求める。予測画像を求める方法としては、三角形ブロックを用いたアフィン変換や、四角形ブロック内での動ベクトルの補間などによるものがある。これらについては先の公知文献「Ｖery Ｌow Ｂitrate Ｖideo Ｃoder Using Ｗarping Ｐrediction」（1993年画像符号化シンポジウム8-7,pp.167-168）に詳しく述べられている。
【０００７】
符号化装置では、動き補償予測部３４で求められた予測画像と原画像との差分データが、図示しない符号化部において符号化され、符号化データに組み込まれて伝送あるいは蓄積される。又、符号化データは図示しない復号部において復号され、予測画像と足し合わされて復号画像が得られる。復号画像はフレームメモリに蓄えられ、以後の符号化の際の参照画像として用いられる。
【０００８】
次に、従来の画像復号装置について説明する。
図１４は、従来の画像復号装置における予測画像作成回路の構成図で、図中、４１は格子点動ベクトル復号部、４２は動き補償予測部、４３は四角形ブロックへの分割部である。
格子点動ベクトル復号部４１は、符号化データ中に組み込まれている格子点の動ベクトルの符号を復号する部分である。出力は格子点の動ベクトルであり、動き補償予測部４２に供給される。四角形ブロックへの分割部４３及び動き補償予測部４２は、図１３の符号化装置と同様の働きをするので説明を省略する。
【０００９】
復号装置では、符号化装置と同じ参照画像が得られており、また、格子点動ベクトル復号部４１において得られる動ベクトルも、符号化装置で得られるものと同一である。従って、動き補償予測部４２で得られる予測画像も、符号化装置で得られるものと同一となる。動き補償予測部３３で求められた予測画像と、図示しない復号部で得られた差分データの復号値が足し合わされて、復号画像が得られる。復号画像は、ディスプレイなどに表示されると共に図示しないフレームメモリに蓄えられ、以後の復号の際の参照画像として用いられる。
【００１０】
【発明が解決しようとする課題】
図１５（ａ）,（ｂ）及び図１６（ａ）〜（ｃ）は、従来の問題点を説明するための図である。
図１５（ａ）は参照画像のある一部を表し、図１５（ｂ）は予測対象画像の一部を表すものとする。図１５に示すように、斜めの縞模様を背景に長方形の物体が反時計周りに回転しながら左に移動している。●は格子点を表す。ここで、参照画像上の格子点ａ，ｂ，ｃ，ｄ，ｅ，ｆから形成される２つのブロック（四角形abdcと四角形befd）に注目すると、静止した背景上の四角形abdcが大きく変形し、四角形ＡＢＤＣとなっている。これら２つのブロックを取り出して図１６（ａ）,（ｂ）に示す。
【００１１】
図１６（ａ）は、図１５（ａ）の注目する２ブロックを示し、図１６（ｂ）は、図１５（ｂ）の注目する２ブロックを示したものである。このような場合に従来法によって予測画像を作成したものが、図１６（ｃ）である。左のブロックの斜めの模様が、幾何学変換によって変形し、図１６（ｂ）に示した予測対象画像（原画像）と異っていることが分かる。
【００１２】
一般に、動物体に接する背景画像上のブロックは、動物体の動きに伴って形が変化する。従来法によれば、背景画像は静止、あるいは並行移動しているにもかかわらず、その予測画像は変形や回転などの幾何学変換によって作成される。このため、予測効率が低下するという問題点があった。なお、ここでいう並行移動とは各画素の動きが平行であることを示す。
【００１３】
図１７（ａ）〜（ｃ）は、従来の他の問題点を説明するための図である。
図１７（ａ）は参照画像のある一部を表し、図１７（ｂ）は予測対象画像の一部を表すものとする。図１７に示すように、物体１が左下方向に、物体２が右上方向に動いている。ここで、参照画像上の格子点ａ，ｂ，ｃ，ｄ，ｅ，ｆから形成される２つのブロックに注目する。これらの格子点のうち、ｃ，ｅは物体の動きによって予測対象画像上のＣ，Ｅに移動しているが、ａ，ｂ，ｄ，ｆは移動しない。
このような場合、従来法によれば、図１７（ｃ）のようになる。物体は並行移動しているにも関わらず、幾何学変換を受けて歪んでしまう。一般に、隣接したブロック上の複数の物体が別々の方向に並行移動するとき、前述のような幾何学的な歪みが発生することになる。
【００１４】
本発明は、このような実情に鑑みてなされたもので、幾何学変換によって予測画像を求めるモードと並行移動によって予測画像を求めるモードとをブロック毎に適応的に切り換え、予測効率を向上させるようにした画像符号化装置及び画像復号装置を提供することを目的としている。
【００１５】
【発明を解決するための手段】
本発明は、上記課題を解決するために、
（１）画像を分割して得られる各ブロックに対して予測画像を求める動き補償予測手段と、動き補償予測に用いる動き情報を符号化する符号化手段と、前記動き補償予測手段で用いられる予測モードを選択する選択手段とを備えた画像符号化装置であって、前記動き補償予測手段は、アフィン変換または動ベクトルの補間により予測画像を作成する第１の予測モードと、並行移動により予測画像を作成する第２の予測モードを有し、前記選択手段は、前記予測モードのいずれかをブロック毎に選択し、前記動き情報は、前記選択された予測モードを示す予測モード情報を含むことを特徴とする。
（２）画像を分割して得られる各ブロックに対して予測画像を求める動き補償予測手段と、動き補償予測に用いる動き情報を復号する復号手段と、前記動き補償予測手段で用いられる予測モードを選択する選択手段とを備えた画像復号装置であって、前記動き補償予測手段は、アフィン変換または動ベクトルの補間により予測画像を作成する第１の予測モードと、並行移動により予測画像を作成する第２の予測モードを有し、前記選択手段は、前記予測モードのいずれを選択するかを示す予測モード情報に従って前記予測モードをブロック毎に選択し、前記動き情報は、前記予測モード情報を含むことを特徴とする。
【００１６】
【作用】
本発明の画像符号化装置によれば、複数の動き補償予測モードをブロック毎に適応的に選択でき、予測効率を向上することができる。前記動き補償予測手段は、アフィン変換または動ベクトルの補間により予測画像を作成する第１の予測モードと、並行移動により予測画像を作成する第２の予測モードを有しているので、予測モード情報を少なくすることができる。
【００１７】
本発明の復号装置によれば、複数の動き補償予測モードをブロック毎に適応的に選択でき、予測効率を向上することができる。また、動ベクトルの情報や予測モードの情報は符号化装置で得られたものを用いるので、符号化装置で得られた予測画像と同一の予測画像が得られる。複数の動き補償予測手段として、アフィン変換または動ベクトルの補間により予測画像を作成する第１の予測モードと、並行移動により予測画像を作成する第２の予測モードを有し、予測モード情報を少なくすることができる。また、動ベクトルの情報や予測モードの情報は符号化装置で得られたものを用い、動ベクトルの決定手段は符号化装置と同一であるので、符号化装置で得られた予測画像と同一の予測画像が得られる。
【００１９】
【実施例】
実施例について、図面を参照して以下に説明する。
まず、本発明の考え方を図１１によって説明する。図１１は、予測画像上の注目するブロック（四角形ＡＢＤＣ）の予測画像（１ブロック分）を、本発明の手法によって求める様子を示したものである。従来法と同様に、参照画像上の四角形ａｂｄｃは、格子の変形による幾何学変換を用いて変形され、Ｐ１のような予測画像が得られる。一方、参照画像上の四角形ａ′ｂ′ｄ′ｃ′の並行移動によって別の予測画像Ｐ２が得られる。本発明では、これら複数の予測画像をブロック毎に適応的に選択し、いずれかを実際の予測画像として用いる。ここで、並行移動とはブロック内画素が全て平行に移動することであり、ブロックの形状は変化せず、位置のみが移動することを意味する。
【００２０】
図１６（ｄ）は、本発明によって作成した予測画像の例である。左側のブロックの予測方法として、図１６（ａ）の四角形ａｂｄｃを幾何学変換するものと図１６（ａ）の点線で囲まれた部分を並行移動するものとがある。この場合は後者を適応的に選択し、図１６（ｄ）の予測画像を得ている。図から分かるように従来法の問題であった幾何学的な歪みは発生しない。
また、図１７（ｄ）は、本発明によって作成した予測画像の他の例である。左側のブロックの予測画像として図１７（ａ）の点線で囲まれた部分を並行移動し、右側のブロックの予測画像として図１７（ａ）の一点鎖線で囲まれた部分を並行移動することによって予測画像を得ている。図から分かるように従来法の問題であった幾何学的な歪み（図１７（ｃ）参照）は発生しない。
【００２１】
図１は、本発明による画像符号化装置の一実施例を説明するための構成図で、図中、１は四角形ブロックへの分割部、２は格子点動き推定部、３は並行移動動き推定部、４は第１の動き補償予測部、５は第２の動き補償予測部、６は予測画像選択部である。
四角形ブロックへの分割部１及び格子点動き推定部２は、図１３で述べたものと同様の働きによって、参照画像を四角形に分割し、格子点の動ベクトルを求める部分である。格子点の動ベクトルは第１の動き補償予測部４に供給される。なお、四角形ブロックへの分割部１は他の符号化装置の実施例でも使用するが、以後の図４〜図６では図示せず、説明を省略する。
【００２２】
並行移動動き推定部３は、参照画像上のブロックの移動方向をブロックマッチング等の手法によって求める部分である。前述したブロックマッチングは、格子点周りの領域が予測対象画像上の同一形状のどの領域とマッチするかを調べるものであった。しかし、ここではブロック自体を領域とみなし、この領域が予測対象画像上の同一形状のどの領域とマッチするかを調べる。これによって、ブロック自体が並行移動する場合の動ベクトル（並行移動ベクトル）が求められる。並行移動の動ベクトルは第２の動き補償予測部５に供給される。
【００２３】
第１の動き補償予測部４は、図１３で説明した動き補償予測部３３と同様の働きによって、幾何学変換による動き補償予測を行う。出力された予測画像は予測画像選択部６に供給される。第２の動き補償予測部５は並行移動によって動き補償予測を行う。出力された予測画像は予測画像選択部６に供給される。
予測画像選択部６は本発明の手法により、予測画像をブロック毎に適応的に選択し、予測画像と予測モード情報を出力する。予測モード情報は図示しない符号化部において符号化され、符号化データに組み込まれて伝送あるいは蓄積される。予測画像の選択方法としては、原画像との誤差を最小にするものや、原画像との重みつき誤差を最小にするものなどが考えられる。以下、これらについて説明する。
【００２４】
図２は、図１における予測画像選択部の一例を示す構成図で、図中、７は第１の誤差算出部、８は第２の誤差算出部、９は選択部である。
ここでは予測画像を２種類としているが、もちろんこれに限るものではない。第１の誤差算出部７は、原画像と予測画像▲１▼のデータを１ブロック分入力し、予測誤差を算出する部分である。予測誤差は、原画像の画素値ｆ(ｎ)と予測画像の画素値ｆ(ｎ)′とを用いて、
【００２５】
【数１】
によって計算される。ただし、ｎはブロック内での画素の番号、Ｎはブロック内の画素数である。ここでは２乗誤差による予測誤差を示したが、絶対値誤差を用いても良い。第２の誤差算出部８は第１の誤差算出部７と同様の働きによって、予測誤差を算出する部分である。選択部９は、各予測誤差を比較し予測誤差が最小となる予測画像及び、予測モード情報を出力する。例えば、第２の誤差算出部８の誤差が最小であれば、予測画像▲２▼を選択して出力する。また、予測モード情報として予測画像▲２▼を表す情報を出力する。予測方法が２種類ある場合、例えば、予測モード情報を固定長符号で表すと１ブロック当たり１ビット必要となる。
【００２７】
図３は、図１における予測画像選択部の他の例を示す構成図で、図中、１０は第１の直交変換部、１１は第２の直交変換部、１２は第３の直交変換部で、その他、図２と同じ作用をする部分は同一の符号を付してある。
第１の直交変換部１０〜第３の直交変換部１２は入力された１ブロック分の画素値を２次元直交変換し、周波数成分に変換する。図３の第１の誤差算出部７、第２の誤差算出部８は、原画像の直交変換係数ｇ(ｋ)と予測画像の直交変換係数ｇ(ｋ)´との重みつき誤差（予測誤差）を以下のようにして算出する部分である。
【００２８】
【数２】
ただし、ｋは直交変換係数の番号、Ｎはブロック内の画素数、ｗ(ｋ)はあらかじめ定められた重みである。ここでは２乗誤差による予測誤差を示したが、絶対値誤差を用いても良い。例えば、重みｗ(ｋ)を低周波では大きく高周波では小さく設定することによって、人間の視覚特性に合致した予測誤差が計算される。図３の選択部９は、図２の選択部９と同様の働きによって予測画像を選択し、予測画像と予測モード情報とを出力する。
【００３０】
以上のようにして、図１に示した符号化装置によって、複数の動き補償予測方式を切替えることができる。すなわち、幾何学変換を用いた動き予測方式と、並行移動による動き予測方式とをブロック毎に適応的に切替えることができる。この結果、予測効率を改善して符号化効率を向上させることができる。
【００３１】
図４は、本発明による画像符号化装置の他の実施例を説明するための構成図で、図中、１３は第３の動き補償予測部、１４は第４の動き補償予測部、１５は第５の動き補償予測部で、その他、図１と同じ作用をする部分は同一の符号を付してある。
格子点動き推定部２は、図１３で述べたものと同様の働きによって、格子点の動ベクトルを求める部分である。格子点の動ベクトルは第１の動き補償予測部４〜第５の動き補償予測部１５に供給される。第１の動き補償予測部４は、図１３で説明した動き補償予測部３３と同様の働きによって、幾何学変換による動き補償予測を行う。出力された予測画像は予測画像選択部６に供給される。
【００３２】
第２の動き補償予測部５〜第５の動き補償予測部１５は、並行移動による動き補償予測を行う。予測に用いる動ベクトルは注目するブロックの４つの格子点の動ベクトルである。各格子点の動ベクトルをそれぞれＶ１，Ｖ２，Ｖ３，Ｖ４とすると、第２の動き補償予測部５では動ベクトルＶ１を、第３の動き補償予測部１３では動ベクトルＶ２を、第４の動き補償予測部１４では動ベクトルＶ３を、第５の動き補償予測部１５では動ベクトルＶ４をそれぞれ用い、並行移動による動き補償予測を行う。作成された予測画像はそれぞれ予測画像選択部６に供給される。予測画像選択部６は本発明の手法により、予測画像を適応的に選択し、予測画像と予測モード情報を出力する。具体的には既に述べた手法（図２，図３）を用いる。ただし、ここでは予測画像は５種類となる。
【００３３】
以上のようにして、図４に示した符号化装置によって、複数の動き補償予測方式を切替えることができる。すなわち、幾何学変換を用いた動き予測方式と、並行移動による４つの動き予測方式とをブロック毎に適応的に切替えることができる。この結果、予測効率を改善し符号化効率を向上させることができる。また、ブロックの並行移動を示す動ベクトルを符号化しなくても良いので符号化データ量を小さくすることができる。
【００３４】
図５は、本発明による画像符号化装置の更に他の実施例を説明するための構成図で、図中、１６は並列移動ベクトル決定部で、その他、図４と同じ作用をする部分は同一の符号を付してある。図４との違いは、並行移動による動き補償予測を行う部分（並行移動ベクトル決定部１６及び第２の動き補償予測部５）である。
【００３５】
並行移動ベクトル決定部１６では、１つのブロックに属する４個の格子点の動ベクトルと参照画像（いずれも復号装置でも得られる情報である）をもとに、ブロック自体の並行移動を表す動ベクトルを決定する。ここで求められた並行移動ベクトルは第２の動き補償予測部５に供給される。例えば、４個の格子点動ベクトルの平均値を求める並行移動ベクトルとする。この場合は参照画像の情報を用いないので、並行移動ベクトル決定部１６への参照画像の入力はない。
【００３６】
あるいは他の並行移動ベクトル決定方法として次のようなものが考えられる。すなわち、１フレーム前の参照画像と、２フレーム前の参照画像から注目するブロックの並行移動ベクトルを図１に示す実施例の説明で述べたようなブロックマッチングによって探索する。ここで求められた動ベクトルを求める並行移動ベクトルとする。又は、４個の格子点動ベクトル及びその平均ベクトルを、探索された動ベクトルと比較し、最も近いものを求める並行移動ベクトルとしてもよい。
【００３７】
図５における第２の動き補償予測部５は、入力された動ベクトルに基づき、並行移動によって動き補償予測を行う。予測画像選択部６は、２種類の予測画像の内、予測誤差の小さいものを選択し、選択された予測画像と予測モード情報を出力する。選択方法は、図２，図３に示したものと同様である。本実施例の符号化装置によれば、予測モード情報は１ブロック当たり１ビットですむので、予測モード情報にかかるデータ量が削減できる。
【００３８】
図６は、本発明による画像符号化装置の更に他の実施例を説明するための構成図で、図中、１７は制御部、１８は予測モード選択部で、その他、図５と同じ作用をする部分は同一の符号を付してある。図５との違いは、予測画像選択部６をなくし、その代わりに予測モード選択部１８と制御部１７とスイッチ▲１▼及びスイッチ▲２▼を設けた点にある。
【００３９】
予測モード選択部１８では、動ベクトルや参照画像など復号装置でも得られる情報をもとに予測モードを決定する。モード０が幾何学変換による動き補償予測をあらわし、モード１が並行移動による動き補償予測をあらわすものとする。決定された予測モードは制御部１７に供給される。
【００４０】
例えば、動ベクトルから、注目するブロックの大きさの変化を知ることができる。ブロックが大きく変化する場合は、隣接したブロックの動きが原因であることが多く、注目するブロック自体は静止あるいは並行移動していることが多いので、並行移動による動き補償予測のモードを選択する。すなわち、ブロック中に含まれる画素数の変化を調べ、この変化がしきい値より大きな場合は並行移動による動き補償予測のモードを、それ以外の場合は幾何学変換による動き補償予測のモードを選択する。
【００４１】
あるいは、他の予測モード選択方法として次のようなものが考えられる。
すなわち、１フレーム前の参照画像と、２フレーム前の参照画像から注目するブロックの動ベクトルをブロックマッチングによって探索する。この時のブロックマッチングの最小誤差が、しきい値より小さければ並行移動による動き補償予測のモードを、それ以外の場合は幾何学変換による動き補償予測のモードを選択する。なお、ここで述べたしきい値は理論的あるいは経験的に定められるものである。これらはあらかじめ定めておいても良いし、手動あるいは自動で適宜変化させてもよい。
【００４２】
制御部１７では、前述のように決定された予測モードをもとにスイッチ▲１▼及びスイッチ▲２▼を制御する。すなわち、予測モードが０の場合は、スイッチ▲１▼及びスイッチ▲２▼を第１の動き補償予測部４の側にして幾何学変換による動き補償予測を行う。予測モードが１の場合は、スイッチ▲１▼及びスイッチ▲２▼を第２の動き補償予測部５の側にして並行移動による動き補償予測を行う。このように、本実施例の符号化装置によれば、復号装置でも得られる情報をもとに予測モードを決定するので、予測モード情報を符号化する必要がなく、データ量が削減できる。
【００４３】
図７は、本発明による画像復号装置の一実施例を説明するための構成図で、図中、２１は制御部、２２は格子点動ベクトル復号部、２３は並行移動ベクトル復号部、２４は四角形ブロックへの分割部、２５は第１の動き補償予測部、２６は第２の動き補償予測部である。本実施例は、図 1 とともに上述した符号化装置で作成された符号化データを復号する復号装置である。
【００４４】
格子点動ベクトル復号部２２は、図１４で述べたものと同様の働きによって、符号化データから格子点動ベクトルを復号する部分である。並行移動ベクトル復号部２３は、符号化データから並行移動ベクトルを復号する部分である。四角形ブロックへの分割部２４は、図１４で述べたものと同様の働きによって、参照画像を四角形に分割する部分である。なお、四角形ブロックへの分割部２４は、他の復号装置の実施例でも使用するが、以後の図８〜図１０では図示せず、説明を省略する。
【００４５】
制御部２１は本発明の手法により、符号化データ中の予測モード情報をもとに、スイッチを制御する。すなわち、予測モード情報が幾何学変換による動き補償予測を表す場合はスイッチを第１の動き補償予測部２５の側にし、予測モード情報が並行移動による動き補償予測を表す場合はスイッチを第２の動き補償予測部２６の側に切替える。第１の動き補償予測部２５と第２の動き補償予測部２６の動きは、図１に示した符号化装置のものと全く同様である。
【００４６】
以上のようにして、図７に示す復号装置において、符号化装置と同一の予測モードが選択され、同一の予測画像が得られる。この予測画像と図示しない復号部で得られた差分データの復号値が足し合わされて、復号画像が得られる。復号画像はディスプレイなどに表示されると共に図示しないフレームメモリに蓄えられ、以後の復号の際の参照画像として用いられる。
【００４７】
図８は、本発明による画像復号装置の他の実施例を説明するための構成図で、図中、２７は第３の動き補償予測部、２８は第４の動き補償予測部、２９は第５の動き補償予測部で、その他、図７と同じ作用をする部分は同一の符号を付してある。本実施例は、図 4 とともに上述した符号化装置で作成された符号化データを復号する復号装置である。
【００４８】
格子点動ベクトル復号部２２は、図１４で述べたものと同様の働きによって、符号化データから格子点動ベクトルを復号する部分である。制御部２１は本発明の手法により、符号化データ中の予測モード情報をもとに、スイッチ▲１▼及びスイッチ▲２▼を制御する。すなわち、予測モード情報が幾何学変換による動き補償予測を表す場合は、スイッチ▲１▼及びスイッチ▲２▼を第１の動き補償予測部２５の側にし、予測モード情報が動ベクトルＶ１を用いた並行移動による動き補償予測を表す場合は、スイッチ▲１▼及びスイッチ▲２▼を第２の動き補償予測部２６の側にするという具合にスイッチを切替える。第３の動き補償予測部２７〜第５の動き補償予測部２９への切替えも同様にして行われる。
【００４９】
第１の動き補償予測部２５〜第５の動き補償予測部２９の働きは、図４に示した符号化装置のものと全く同様である。以上のようにして、図８に示す復号装置において、符号化装置と同一の予測モードが選択され、同一の予測画像が得られる。以後の動作は図７の実施例と同様である。
【００５０】
図９は、本発明による画像復号装置の更に他の実施例を説明するための構成図で、図中、３０は並行移動ベクトル決定部で、その他、図８と同じ作用をする部分は同一の符号を付してある。本実施例は、図 5 とともに上述した符号化装置で作成された符号化データを復号する復号装置である。
【００５１】
格子点動ベクトル復号部２２は、図１４で述べたものと同様の働きによって、符号化データから格子点動ベクトルを復号する部分である。制御部２１は本発明の手法により、符号化データ中の予測モード情報をもとに、スイッチ▲１▼及びスイッチ▲２▼を制御する。すなわち、予測モード情報が幾何学変換による動き補償予測を表す場合は、スイッチ▲１▼及びスイッチ▲２▼を第１の動き補償予測部２５の側にし、予測モード情報が並行移動による動き補償予測を表す場合は、スイッチ▲１▼及びスイッチ▲２▼を第２の動き補償予測部２６の側にする。
【００５２】
並行移動ベクトル決定部３０は、図５のものと同一の働きによって、第２の動き補償予測部２６で使用する並行移動ベクトルを決定する。また、第１の動き補償予測部２５と第２の動き補償予測部２６の働きは、図５に示した符号化装置のものと全く同様である。
以上のようにして、図９に示す復号装置において、符号化装置と同一の予測モードが選択され、同一の予測画像が得られる。以後の動作は図７の実施例と同様である。
【００５３】
図１０は、本発明による画像復号装置の更に他の実施例を説明するための構成図で、図中、３１は予測モード選択部で、その他、図９と同じ作用をする部分は同一の符号を付してある。本実施例は、図 6 とともに上述した符号化装置で作成された符号化データを復号する復号装置である。
【００５４】
格子点動ベクトル復号部２２は、図１４で述べたものと同様の働きによって、符号化データから格子点動ベクトルを復号する部分である。予測モード選択部３１は、図６のものと同様の働きにより、動ベクトルや参照画像などの情報をもとに予測モードを決定する。決定された予測モードは、制御部２１に供給される。
【００５５】
制御部２１は、図６のものと同様の働きにより、符号化データ中の予測モード情報をもとに、スイッチ▲１▼及びスイッチ▲２▼を制御する。並行移動ベクトル決定部３０は、図６のものと同一の働きによって、第２の動き補償予測部２６で使用する並行移動ベクトルを決定する。また、第１の動き補償予測部２５と第２の動き補償予測部２６の働きは、図６に示した符号化装置のものと全く同様である。
以上のようにして、図１０に示す復号装置において、符号化装置と同一の予測モードが選択され、同一の予測画像が得られる。以後の動作は図７の実施例と同様である。
【００５６】
ここで説明した符号化装置及び復号装置の実施例は、おもに時間的に一方向のみに動ベクトルを求め、これによって動き補償予測を行うものであるが、もちろん、時間的に双方向に（すなわち、前後の参照画像から）動ベクトルを求め動き補償予測を行うようにしてもよい。幾何学変換による予測では、双方向動き補償予測を用いても、図１６（ｃ）に示したような問題は解決されない。本発明を用いて並行移動による動き補償と幾何学変換による動き補償を適応的に切替えれば、異る動きをっ持た複数の物体が重なり合う場合や、回転、変形などの働きを含む場合などでも良好な予測画像を得ることができる。
以上の説明から明らかなように、本発明の各実施例によると、以下のような効果がある。
（１）画像符号化装置の予測画像作成回路において、四角形のブロックに分割する分割部と、ブロックの各頂点座標の動ベクトルを求める動き推定部と、ブロック自体の並行移動の動ベクトルを求める動き推定部と、複数の動き補償予測部と、複数の動き補償予測方法をブロック毎に適応的に選択する選択部とを備えているので、複数の動き補償予測方法をブロック毎に適応的に選択でき、予測効率を向上することができる。
これによって、例えば、従来法によれば、図１６（ｃ）の左側のブロックのように、背景の模様が幾何学変換によって歪む場合にも、本発明によれば、図１６（ａ）の点線部分から並行移動によって予測画像を得ることで、良好な予測画像が作成できる。また、従来法によれば、図１７（ｃ）のように、物体が模様が幾何学変換によって歪む場合にも、本発明によれば、図１７（ａ）の点線部分及び一点鎖線部分から並行移動によって予測画像を得ることで良好な予測画像が作成できる。
（２）ブロック自体の並行移動の動ベクトルとして前記ブロックの各頂点座標の動ベクトルを用いた、複数の動き補償予測部を備えているので、格子点の動ベクトルを用いてブロック自体の並行移動の動ベクトルを表すようにすれば、動ベクトルとしては格子点のものだけを符号化すればよいので、データ量が削減できる。
（３）ブロック自体の並行移動の動ベクトルを決定するために、前記ブロックの各頂点座標の動ベクトルの演算及び比較部を備えているので、複数の動き補償予測として、幾何学変換による動き補償予測、並行移動による動き補償予測などを用い、並行移動を行うための動ベクトルを復号装置で得られる情報をもとに決定すれば、予測モード情報を少なくすることができ、データ量が削減できる。
（４）予測画像選択部を用いる代わりに、動き補償予測方法をブロック毎に適応的に選択する際に、動ベクトルと、既に復号された参照画像の情報のみから予測方法を選択する選択部を備えるので、格子点の動ベクトルの既に復号された参照画像の情報のみから予測方法を選択すれば、予測モード情報をなくす事ができ、データ量が削減できる。
（５）画像復号装置の予測画像作成回路において、四角形のブロックに分割する分割部と、ブロックの頂点座標の動ベクトルを復号する復号部と、ブロック自体の並行移動の動ベクトルを復号する復号部と、複数の動き補償予測部と、複数の動き補償予測方法を切替える制御部とを備えているので、複数の動き補償予測方法をブロック毎に適応的に選択でき、予測効率を向上することができる。また、動ベクトルの情報や予測モードの情報は符号化装置で得られたものを用いるので、符号化装置で得られた予測画像と同一の予測画像が得られる。
（６）ブロック自体の並行移動の動ベクトルを用いた複数の動き補償予測部を備えているので、格子点の動ベクトルを用いてブロック自体の並行移動の動ベクトルを表すようにすれば、動ベクトルとしては格子点のものだけを復号すればよいので、処理量が削減できる。
（７）ブロック自体の並行移動の動ベクトルを決定するために、前記ブロックの各頂点座標の動ベクトルの演算及び比較部を備えているので、複数の動き補償予測として、幾何学変換による動き補償予測、並行移動による動き補償予測などを用い、並行移動を行うための動ベクトルを復号装置で得られた情報をもとに決定すれば、予測モード情報を少なくすることができる。
（８）複数の動き補償予測方法を切替える制御部として、動き補償予測方法をブロック毎に適応的に選択する際に、頂点座標の動ベクトルと、既に復号された参照画像の情報のみから予測方法を選択する選択部を備えているので、格子点の動 ベクトルと既に復号された参照画像の情報のみから予測方法を選択するので、予測モード情報をなくすことができる。
【００５７】
【発明の効果】
以上の説明から明らかなように、本発明によると、複数の動き補償予測モードをブロック毎に適応的に選択できるので、予測効率を向上することができる。複数の動き補償予測モードとして、幾何学変換による動き補償予測モードと、並行移動による動き補償予測モードとを備えているので、予測モード情報を少なくすることができる。また、動ベクトルの情報や予測モードの情報は符号化装置で得られたものを用いるので、符号化装置で得られた予測画像と同一の予測画像が得られる。
【図面の簡単な説明】
【図１】本発明による画像符号化装置の一実施例を説明するための構成図である。
【図２】図１における予測画像選択部の一例を示す構成図である。
【図３】図１における予測画像選択部の他の例を示す構成図である。
【図４】本発明による画像符号化装置の他の実施例を説明するための構成図である。
【図５】本発明による画像符号化装置の更に他の実施例を説明するための構成図である。
【図６】本発明による画像符号化装置の更に他の実施例を説明するための構成図である。
【図７】本発明による画像復号装置の一実施例を説明するための構成図である。
【図８】本発明による画像復号装置の他の実施例を説明するための構成図である。
【図９】本発明による画像復号装置の更に他の実施例を説明するための構成図である。
【図１０】本発明による画像復号装置の更に他の実施例を説明するための構成図である。
【図１１】本発明の動き補償予測を説明するための図である。
【図１２】従来の幾何学変換による動き補償予測を説明するための図である。
【図１３】従来の画像符号化装置における予測画像作成回路の構成図である。
【図１４】従来の画像復号装置における予測画像作成回路の構成図である。
【図１５】参照画像と予測対象画像の例を示す図である。
【図１６】従来の本発明による予測画像の比較例を示す図である。
【図１７】従来と本発明による予測画像の他の比較例を示す図である。
【符号の説明】
１…四角形ブロックへの分割部、２…格子点動き推定部、３…並行移動動き推定部、４…第１の動き補償予測部、５…第２の動き補償予測部、６…予測画像選択部、７…第１の誤差算出部、８…第２の誤差算出部、９…選択部、１０…第１の直交変換部、１１…第２の直交変換部、１２…第３の直交変換部、１３…第３の動き補償予測部、１４…第４の動き補償予測部、１５…第５の動き補償予測部、１６…並列移動ベクトル決定部、１７…制御部、１８…予測モード選択部、２１…制御部、２２…格子点動ベクトル復号部、２３…並行移動ベクトル復号部、２４…四角形ブロックへの分割部、２５…第１の動き補償予測部、２６…第２の動き補償予測部、２７…第３の動き補償予測部、２８…第４の動き補償予測部、２９…第５の動き補償予測部、３０…並行移動ベクトル決定部、３１…予測モード選択部。
Claims (2)
- 画像を分割して得られる各ブロックに対して予測画像を求める動き補償予測手段と、動き補償予測に用いる動き情報を符号化する符号化手段と、前記動き補償予測手段で用いられる予測モードを選択する選択手段とを備えた画像符号化装置であって、
前記動き補償予測手段は、アフィン変換または動ベクトルの補間により予測画像を作成する第１の予測モードと、並行移動により予測画像を作成する第２の予測モードを有し、
前記選択手段は、前記予測モードのいずれかをブロック毎に選択し、
前記動き情報は、前記選択された予測モードを示す予測モード情報を含むことを特徴とする画像符号化装置。 - 画像を分割して得られる各ブロックに対して予測画像を求める動き補償予測手段と、動き補償予測に用いる動き情報を復号する復号手段と、前記動き補償予測手段で用いられる予測モードを選択する選択手段とを備えた画像復号装置であって、
前記動き補償予測手段は、アフィン変換または動ベクトルの補間により予測画像を作成する第１の予測モードと、並行移動により予測画像を作成する第２の予測モードを有し、
前記選択手段は、前記予測モードのいずれを選択するかを示す予測モード情報に従って前記予測モードをブロック毎に選択し、
前記動き情報は、前記予測モード情報を含むことを特徴とする画像復号装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19823094A JP3654664B2 (ja) | 1994-08-23 | 1994-08-23 | 画像符号化装置及び画像復号装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19823094A JP3654664B2 (ja) | 1994-08-23 | 1994-08-23 | 画像符号化装置及び画像復号装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004231020A Division JP3734488B2 (ja) | 2004-08-06 | 2004-08-06 | 画像符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0865680A JPH0865680A (ja) | 1996-03-08 |
| JP3654664B2 true JP3654664B2 (ja) | 2005-06-02 |
Family
ID=16387676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19823094A Expired - Lifetime JP3654664B2 (ja) | 1994-08-23 | 1994-08-23 | 画像符号化装置及び画像復号装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3654664B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011124158A1 (zh) * | 2010-04-09 | 2011-10-13 | 华为技术有限公司 | 一种简化方向性变换的方法、装置和系统 |
| US9560378B2 (en) | 2013-09-30 | 2017-01-31 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| JP2020092457A (ja) * | 2015-09-29 | 2020-06-11 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | 画像予測方法および装置 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2191177T3 (es) | 1996-05-17 | 2003-09-01 | Matsushita Electric Ind Co Ltd | Decodificador de imagenes. |
| WO2011077632A1 (ja) * | 2009-12-22 | 2011-06-30 | Ｊｖｃ・ケンウッド・ホールディングス株式会社 | 画像符号化装置、画像符号化方法および画像符号化プログラム、ならびに画像復号装置、画像復号方法および画像復号プログラム |
| CN103039075B (zh) | 2010-05-21 | 2015-11-25 | Jvc建伍株式会社 | 图像编码装置、图像编码方法、以及图像解码装置、图像解码方法 |
| JP5716438B2 (ja) * | 2011-02-08 | 2015-05-13 | 株式会社Ｊｖｃケンウッド | 画像復号装置、画像復号方法および画像復号プログラム |
| JP5716437B2 (ja) * | 2011-02-08 | 2015-05-13 | 株式会社Ｊｖｃケンウッド | 画像符号化装置、画像符号化方法および画像符号化プログラム |
| JP7233027B2 (ja) * | 2013-09-30 | 2023-03-06 | サン パテント トラスト | 画像復号装置及び画像符号化装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0313090A (ja) * | 1989-06-09 | 1991-01-22 | Matsushita Electric Ind Co Ltd | 映像信号の高能率符号化方法 |
| JPH0349373A (ja) * | 1989-07-17 | 1991-03-04 | Nippon Telegr & Teleph Corp <Ntt> | 画像符号化方式 |
| JPH06113287A (ja) * | 1992-09-30 | 1994-04-22 | Matsushita Electric Ind Co Ltd | 画像符号化装置と画像復号化装置 |
-
1994
- 1994-08-23 JP JP19823094A patent/JP3654664B2/ja not_active Expired - Lifetime
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011124158A1 (zh) * | 2010-04-09 | 2011-10-13 | 华为技术有限公司 | 一种简化方向性变换的方法、装置和系统 |
| US11363297B2 (en) | 2013-09-30 | 2022-06-14 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| US9560378B2 (en) | 2013-09-30 | 2017-01-31 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| US9749658B2 (en) | 2013-09-30 | 2017-08-29 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| US10080039B2 (en) | 2013-09-30 | 2018-09-18 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| US10469875B2 (en) | 2013-09-30 | 2019-11-05 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| US10582220B2 (en) | 2013-09-30 | 2020-03-03 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| US10735768B2 (en) | 2013-09-30 | 2020-08-04 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| US11659204B2 (en) | 2013-09-30 | 2023-05-23 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| JP2020092457A (ja) * | 2015-09-29 | 2020-06-11 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | 画像予測方法および装置 |
| US11323736B2 (en) | 2015-09-29 | 2022-05-03 | Huawei Technologies Co., Ltd. | Image prediction method and apparatus |
| JP2021119709A (ja) * | 2015-09-29 | 2021-08-12 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | 画像予測方法および装置 |
| JP7368414B2 (ja) | 2015-09-29 | 2023-10-24 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | 画像予測方法および装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0865680A (ja) | 1996-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3277111B2 (ja) | 動画像符号化装置および動画像復号化装置 | |
| US6947603B2 (en) | Method and apparatus for hybrid-type high speed motion estimation | |
| JP3847827B2 (ja) | 動きベクトル検出方法 | |
| KR100355324B1 (ko) | 화상부호화장치및화상복호화장치 | |
| EP0740473A2 (en) | Apparatus for encoding a video signal using feature point based motion estimation | |
| JPH09200770A (ja) | 適応動きベクトル補間による動き補償フレーム間予測方法 | |
| CN101496412A (zh) | 具有域变换的基于网络的视频压缩 | |
| JP3654664B2 (ja) | 画像符号化装置及び画像復号装置 | |
| JP2000224593A (ja) | フレーム補間方法および装置およびこの方法を記録した記録媒体 | |
| EP0632657A1 (en) | Method of prediction of a video image | |
| JP4245587B2 (ja) | 動き補償予測方法 | |
| JP3734488B2 (ja) | 画像符号化装置 | |
| JPH09121355A (ja) | 動画像符号化復号化装置 | |
| JP4427553B2 (ja) | 動画像復号化装置 | |
| KR100490730B1 (ko) | 비디오 영상 압축 시스템에서의 적응적 패턴을 이용한움직임 예측 장치 및 방법 | |
| JPH09200776A (ja) | 動画像符号化方法及び装置 | |
| JP3700230B2 (ja) | 動画像符号化における動き補償方法 | |
| JP3746708B2 (ja) | 動画像符号化装置 | |
| JP2004159132A (ja) | 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびそのプログラムを記録した記録媒体 | |
| JP2001224036A (ja) | 動画像符号化装置 | |
| JP3513277B2 (ja) | 映像符号化装置及び映像復号化装置 | |
| JPH0879759A (ja) | 画像符号化装置及び画像復号装置 | |
| JPH07177519A (ja) | 動きベクトル検出方法 | |
| JPH10243401A (ja) | 適応動きベクトル補間による動き補償フレーム間予測方法 | |
| JP3277116B2 (ja) | 動画像符号化装置および動画像復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040615 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040806 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050301 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050301 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080311 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100311 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100311 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110311 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120311 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120311 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130311 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130311 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140311 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |