JP3746708B2 - 動画像符号化装置 - Google Patents
動画像符号化装置 Download PDFInfo
- Publication number
- JP3746708B2 JP3746708B2 JP2001368278A JP2001368278A JP3746708B2 JP 3746708 B2 JP3746708 B2 JP 3746708B2 JP 2001368278 A JP2001368278 A JP 2001368278A JP 2001368278 A JP2001368278 A JP 2001368278A JP 3746708 B2 JP3746708 B2 JP 3746708B2
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- unit
- region
- side information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像符号化装置に関し、より詳細には、適応的動き補償フレーム間予測方式を用いた動画像符号化装置に関するものである。
【０００２】
【従来の技術】
従来では ＩＳＤＮ(Integrated Services Digital Network)網などの高速ディジタル網において、テレビ電話やテレビ会議システムなどの動画像通信が実現されていた。近年、ＰＨＳ(Personal Handyphone System)に代表される無線伝送網の進展、およびＰＳＴＮ(Public Switching Telephone Network)網におけるデータ変調・復調技術の進展、さらに画像圧縮技術の進展に伴い、より低ビットレート網における動画像通信への要求が高まっている。
【０００３】
一般にテレビ電話やテレビ会議システムのように、動画像情報を伝送する場合においては、動画像の情報量が膨大なのに対して、伝送に用いる回線の回線速度やコストの点から、伝送する動画像の情報量を圧縮符号化し、情報量を少なくして伝送する事が必要となってくる。
【０００４】
動画像情報を圧縮する符号化方式としては、Ｈ．２６１、ＭＰＥＧ−１(Moving Picture Coding Expert Group)、ＭＰＥＧ−２などがすでに国際標準化されている。さらに６４ｋｂｐｓ以下の超低ビットレートでの符号化方式としてＭＰＥＧ−４の標準化活動が進められている。
【０００５】
現在標準化されている動画像映像符号化方式では、フレーム間予測符号化およびフレーム内符号化を組み合わせて行なうハイブリッド映像符号化方式を採用している。フレーム間予測符号化は、動画像を符号化する際に参照画像から予測画像を生成し、現画像との差分を符号化することで符号量を減少させ伝送することで伝送路の効率的な利用を図るものである。
【０００６】
従来の動画像符号化装置の全体の動作を説明する。従来の動画像符号化装置の全体の構成例を図３に示す。ここで、動き補償フレーム間予測符号化を行なっている場合の定常状態としてフレームメモリ部１６に、予測画像を生成する際に使用される参照画像が記憶されているとする。入力画像が動画像符号化装置に入力され、減算部１１および動き補償フレーム間予測部１７に入力される。
【０００７】
動き補償フレーム間予測部１７では、フレームメモリ部１６に記憶された参照画像と入力画像から動き予測を行ない、減算部１１に対して予測画像を出力する。また、予測の際に得られた動きベクトルなどのサイド情報を符号化し、符号化サイド情報を出力する。
【０００８】
減算部１１は、入力画像から動き補償フレーム間予測部１７より入力した予測画像を減算し、減算した結果（予測誤差情報）を画像符号化部１２に出力する。
【０００９】
画像符号化部１２は、入力された予測誤差信号をＤＣＴ(Discrete Cosine Transform)変換などの空間変換および量子化を行ない、符号化画像情報として出力する。同時に、画像符号化部１２から出力された符号化画像情報は、画像復号部１４によりローカル復号され、加算部１５に出力される。
【００１０】
加算部１５では動き補償フレーム間予測部１７から出力された予測画像と画像復号化部１４より出力された予測誤差情報を加算し、新たな参照画像を生成し、フレームメモリ部１６へ出力する。
【００１１】
フレームメモリ部１６は、加算部１５より出力された新たな参照画像を記憶し、次の入力画像の符号化の際に前記動き補償フレーム間予測部１７に出力される。以上、説明したような動作を繰り返すことにより、動画像符号化装置では連続した符号化画像情報（予測誤差情報）および符号化サイド情報の出力を行なう。
【００１２】
次に、従来の動画像復号化装置の全体の動作を説明する。従来の動画像復号化装置の全体の構成例を図４に示す。ここで、動き補償フレーム間予測符号化を行なっている場合の定常状態としてフレームメモリ部２４に、予測画像を生成する際に使用される参照画像が記憶されているとする。動画像復号化装置に入力された符号化画像情報は、画像復号化部２１に入力される。前記画像復号化部２１では、画像符号化装置における画像復号化部１４と同一で符号化画像情報を復号し、得られた誤差画像を加算部２２に出力する。
【００１３】
一方、動画像復号化装置に入力された符号化サイド情報は、動き補償フレーム間予測部２３に入力される。
【００１４】
動き補償フレーム間予測部２３は、入力された符号化サイド情報を復号し、動きベクトルなどのサイド情報を得る。さらに得たサイド情報とフレームメモリ部２４から入力される参照画像より予測画像を生成し、加算部２２に出力する。
【００１５】
加算部２２は、画像復号化部２１より出力された誤差画像と動き補償フレーム間予測部２３より出力された予測画像の加算を行ない、出力画像を得る。この出力画像は、出力画像として動画像復号化装置から出力され、同時にフレームメモリ部２４に対しても出力される。
【００１６】
フレームメモリ部２４は、加算部２２より出力された新たな参照画像を記憶し、次の画像の復号化の際に動き補償フレーム間予測部２３に出力される。以上、説明したような動作を繰り返すことにより、動画像復号化装置では連続した出力画像の出力を行なう。
【００１７】
次に、動画像符号化装置および動画像復号化装置における動き補償フレーム間予測部の動作および各部で用いられる方式について説明する。まず、動画像符号化装置における動き補償フレーム間予測部１７の構成例および動作を説明する。図５に示すように、動き補償フレーム間予測部１７は、動きベクトル探索部４１、予測フレーム生成部４２、サイド情報符号化部４３から構成されている。
【００１８】
動きベクトル探索部４１は、入力された入力画像とフレームメモリ部１６から入力された参照画像より動きベクトルを探索し予測フレーム生成部４２に出力する。予測フレーム生成部４２は、入力された動きベクトルと参照画像よりブロック移動、アフィン変換、双線形変換などの予測方式のいずれか一つを用いて予測画像を生成する。
【００１９】
また、予測画像の生成の際には、領域情報、動きベクトルなどのサイド情報が得られる。生成された予測画像は、減算部１１および加算部１５に出力され、サイド情報は、サイド情報符号化部４３に出力される。サイド情報符号化部４３は予測フレーム生成部４２より入力されたサイド情報を符号化し、符号化サイド情報として出力する。
【００２０】
次に、動画像復号化装置における動き補償フレーム間予測部２３の構成および動作を説明する。図６に示すように、動き補償フレーム間予測部２３は、予測フレーム生成部５１、サイド情報復号化部５２から構成されている。前記動き補償フレーム間予測部２３に入力された符号化サイド情報は、サイド情報復号化部５２に入力される。
【００２１】
サイド情報復号化部５２では、入力された符号化サイド情報を復号し、領域情報、動きベクトルなどのサイド情報を得、予測フレーム生成部５１に出力する。予測フレーム生成部５１は、サイド情報復号化部５２より入力されたサイド情報およびフレームメモリ部２４より入力された参照画像よりフレーム間予測処理を行ない、得られた予測画像を加算部２２に出力する。
【００２２】
次に、アフィン変換について説明する。アフィン変換は、ある画像フレームから別の画像フレームへの写像を６つのパラメータにより表現することにより行われる。一般的に、アフィンパラメータの計算の簡便化などの理由によりアフィン変換は、三角形領域を対象として行われる。
【００２３】
前方向予測を行う場合のアフィン変換を用いたフレーム間予測の説明図を図１０に示す。現画像フレームのコントロールグリッド点Ａ，Ｂ，Ｃの動きベクトルを探索した結果、参照フレームのコントロールグリッド点Ａ′，Ｂ′，Ｃ′が対応する位置であったとする。
【００２４】
アフィンパラメータを求めるためには、まず、４つのコントロールグリッド点のうち３点を選択し領域の分割を行う。例えば、現画像フレームでは、Ａ，Ｂ，ＣとＢ，Ｃ，Ｄのような領域の分割を行う。対応して参照画像フレームでは、Ａ′，Ｂ′，Ｃ′とＢ′，Ｃ′，Ｄ′に分割される。領域を三角形に分割した後、各三角形の頂点の位置（一方が頂点の位置で、片方が動きベクトルでもよい）よりアフィンパラメータを計算する。
【００２５】
そして、求められたアフィンパラメータより分割された三角形領域の内部の画素全てを予測画像フレームに写像することにより予測画像フレームを生成する。この際、参照画像フレーム中で参照画像フレーム中で参照される画素位置が整数でなかった場合には、双線形内挿などの予測値の補間を行い予測画像フレームの画素値の決定を行う。以上の処理を行なうことにより予測画像を生成する。
【００２６】
【発明が解決しようとする課題】
しかしながら、上述した従来の技術においては、動き補償フレーム間予測として用いられる方式が固定的に決められていたため、アフィン変換を用いた動き補償フレーム間予測方式を用いた場合に、ブロック移動を用いた動き補償フレーム間予測方式で予測を表現した方が、全体としての符号量が減少することがあるが対応できないという問題点があった。
【００２７】
また、アフィン変換を用いた動き補償フレーム間予測方式において、領域を分割する際に、被写体の形状・大きさ・位置によって、予測効率が十分でないことがあるという問題点があった。
【００２８】
【課題を解決するための手段】
本願の第１の発明は、複数の動き補償フレーム間予測方式を用いて画像フレームを符号化する動画像符号化装置であって、画像フレームの動きベクトルを探索する動きベクトル探索手段と、前記画像フレームを複数の領域に分割し、前記動きベクトルと前記複数の予測方式を用いて、該領域毎に複数の予測画像を生成する予測手段と、前記複数の予測画像のうち符号化効率が最適な予測方式を決定し、該予測方式および前記動きベクトルを示すサイド情報と予測画像とを出力する領域予測決定手段と、前記サイド情報を符号化するサイド情報符号化手段とを備え、前記サイド情報符号化手段が、符号化対象領域に隣接する領域において該符号化対象領域とは異なる予測方式が決定された場合に、該隣接領域の動きベクトルを用いることによって、符号化対象領域の動きベクトルに要するサイド情報量を少なくしたことを特徴とする。
【００２９】
本願の第２の発明は、前記符号化対象領域ではブロック移動による予測方式が決定されることを特徴とする。
【００３０】
本願の第３の発明は、前記隣接領域ではアフィン変換による予測方式が決定されることを特徴とする。
【００３４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。動画像符号化装置および動画像復号化装置の全体的な動作は、図３及び図４に示した従来の動画像符号化装置および動画像復号化装置で説明したものと同様である。動画像符号化装置の構成例を図３に、動画像復号化装置の構成例を図４に示す。ここでは、動画像符号化装置における動き補償フレーム間予測部および動画像復号化装置における動き補償フレーム間予測部に関する動作を説明する。
【００３５】
まず始めに、動画像符号化装置における本発明の動き補償フレーム間予測部１７の構成例を図１に示す。図１において、３１は動きベクトル探索部、３２ａ、３２ｂ、．．．、３２ｎは、予測部１、予測部２、．．．、予測部ｎ、３３は領域予測決定部、３４はサイド情報符号化部である。動きベクトル探索部３１は、入力された入力画像フレームとフレームメモリ部１６から入力された参照画像フレームより動きベクトルを探索し、予測部１〜ｎ（３２ａ〜３２ｎ）に出力する。
【００３６】
各予測部１〜ｎ（３２ａ〜３２ｎ）は、入力された動きベクトルおよびフレームメモリ部１６より入力された参照画像フレームより、異なるｎ個の動き補償フレーム間予測方式を用いて予測画像を生成する。この際、各予測部１〜ｎ（３２ａ〜３２ｎ）は、入力された参照画像フレームを一つ以上の小領域に分割し、フレーム間予測処理を行う。このそれぞれの領域を、以後、処理小領域と呼ぶ。
【００３７】
そして、各予測部１〜ｎ（３２ａ〜３２ｎ）は、生成した予測画像１〜ｎ（一つ以上の処理小領域）およびフレーム間予測処理で使用した動きベクトルを領域予測決定部３３に出力する。
【００３８】
領域決定部３３は、予測部１〜ｎ（３２ａ〜３２ｎ）より入力された予測画像１〜ｎと入力画像フレームから差分を計算し、各処理小領域毎に誤差が最小となる予測画像を採用し、処理小領域を構成する動きベクトル、領域情報、予測モード情報などのサイド情報をサイド情報符号化部３４に出力し、また、採用された各処理小領域をまとめて予測画像フレームとして出力する。
【００３９】
サイド情報符号化部３４は、領域予測決定部３３より入力されたサイド情報（動きベクトル、領域情報、予測モード情報）を符号化し符号化サイド情報を出力する。
【００４０】
次に、本発明の動画像符号化装置に対応する動画像復号化装置における動き補償フレーム間予測部２３の構成例を図２に示す。図２において、３５はサイド情報復号化部、３６ａ、３６ｂ、．．．、３６ｎは、予測部１、予測部２、．．．、予測部ｎ、３７は領域予測選択部である。
【００４１】
動き補償フレーム間予測部２３に入力された符号化サイド情報は、サイド情報復号化部３５に入力される。サイド情報復号化部３５では、入力された符号化サイド情報を復号し、動きベクトル、領域情報、予測モード情報を得、予測部１〜予測部ｎ（３６ａ〜３６ｎ）に動きベクトルを、領域予測選択部３７に領域情報、予測モード情報を出力する。
【００４２】
予測部１〜ｎ（３６ａ〜３６ｎ）は、サイド情報復号化部３５より入力された動きベクトルとフレームメモリ部２４より入力された参照画像フレームより、異なるｎ個の動き補償フレーム間予測方式を用いて予測画像を生成する。
【００４３】
この際、各予測部は、入力された参照画像フレームを一つ以上の処理小領域に分割し、フレーム間予測処理を行う。そして、各予測部１〜ｎ（３６ａ〜３６ｎ）は、生成した予測画像１〜ｎ（一つ以上の処理小領域）を領域予測選択部３７に出力する。
【００４４】
領域選択部３７は、サイド情報復号化部３５からの領域情報、予測モード情報に従って、予測部１〜ｎ（３６ａ〜３６ｎ）より入力された予測画像１〜ｎを選択して、予測画像フレームを生成する。そして、得られた予測画像フレームを出力する。
【００４５】
次に、予測部に関して説明する。図７に、本発明における予測方式の選択に関する例を示す。
【００４６】
従来の予測方式では、画像のある領域に対してただ一つの動き補償フレーム間予測方式を用いていたため、図７−Ａに示すように領域が細分化され、動きベクトルなどのサイド情報量が増加する傾向にあった。本発明による予測方式では、画像の領域を小領域に分割し、各小領域に対して異なる動き補償フレーム間予測方式を用いる。
【００４７】
例えば、図７−Ｂに示すように、網で囲まれた小領域１と２つの三角形からなる小領域２を異なる動き補償フレーム間予測を用いた場合、小領域１は、ブロック移動による動き補償フレーム間予測方式を用い、小領域２は、アフィン変換による動き補償フレーム間予測方式を用いる。
【００４８】
この例では、小領域１は、隣接する小領域２の左上の動きベクトルを用いる。上記のように小領域毎に異なる動き補償フレーム間予測方式を用いることにより予測処理の際に必要となる動きベクトルが７つから４つに減っていることが分かる。
【００４９】
例では、１６×１６画素の単位領域を更に細かく小領域に分割し、予測部１（３２ａ）がブロック移動による動き補償フレーム間予測方式を用いている場合を、また予測部２（３２ｂ）がアフィン変換による動き補償フレーム間予測方式を用いている場合を示した。
【００５０】
本発明では、上記の例のように単位領域のみを対象とするのではなく、様々なサイズの領域を対象として、予測部１〜ｎ（３２ａ〜３２ｎ）において、オーバーラップ動き補償、双線形変換、バックグラウンド予測など他の動き補償フレーム間予測方式を用いることが例として考えられる。
【００５１】
次に、アフィン変換による動き補償フレーム間予測方式を用いた予測部に関して説明する。図８にアフィン変換による動き補償フレーム間予測方式を用いた場合の領域分割の例を示す。アフィン変換による動き補償フレーム間予測では、三角形の領域を対象としているため、１６×１６画素の単位領域を複数の三角形に分割して処理を行う。
【００５２】
図９に１６×１６画素の単位領域を複数の三角形により分割した領域分割例を示す。図８に示すような被写体をアフィン変換による動き補償フレーム間予測方式を用いて予測する場合、図８−Ａのように領域分割を５分割してもよいが、図８−Ｂに示すように、領域を斜め方向に４分割する分割方式をとると、予測処理の際に必要となる動きベクトルが７つから５つに減少することが分かる。
【００５３】
上記のような分割数の少ない場合、例えば領域を斜め方向に２分割（図９において、“１，２”で示す分割方式）あるいは４分割（図９において、“２７”で示す分割方式）する分割方式のように分割数の少ない場合でも、上記小領域毎に異なる予測方式を用いて複数の予測画像を生成する方式と組み合わせることにより、より動きベクトルなどのサイド情報が少なくても、予測効率を十分に上げることができる。
【００５４】
以上の説明から明らかなように、本発明によると、以下のような効果がある。
【００５５】
（１）動き補償フレーム間予測処理の際に、可変サイズの小領域毎に異なる予測方式を用いて複数の予測画像を生成し、出力する予測部と、予測部からの複数の予測画像より最適な領域サイズおよび予測方式を決定し、領域情報、予測モード情報、動きベクトルなどから成るサイド情報と予測画像を出力する領域予測決定部と、領域予測決定部から出力される上記サイド情報を符号化するサイド情報符号化部を具備することで、複数の動き補償フレーム間予測方式の中で、動きベクトルなどのサイド情報量、もしくは、予測誤差が最も少なくなる予測方式を用いることが可能となる。
【００５６】
（２）動き補償フレーム間予測処理の際に、符号化の単位となる領域、または前記単位領域を更に細かく分割した小領域毎に異なる予測方式を用いて複数の予測画像を生成し、出力する予測部と、予測部からの複数の予測画像より処理単位が単位領域または単位領域を更に分割した小領域であるかの情報（領域情報）および予測方式を決定し、領域情報、予測モード情報、動きベクトルなどから成るサイド情報と予測画像を出力する領域予測決定部と、領域予測決定部から出力される上記サイド情報を符号化するサイド情報符号化部を具備することで、複数の動き補償フレーム間予測方式の中で、動きベクトルなどのサイド情報量、もしくは、予測誤差が最も少なくなる予測方式を用いることが可能となる。
【００５７】
（３）動き補償フレーム間予測処理の際に、可変サイズの小領域毎にブロック移動（オーバーラップ動き補償）、アフィン変換、双線形変換、バックグラウンド予測などの予測方式を用いて複数の予測画像を生成し、出力する予測部と、予測部からの複数の予測画像より最適な領域サイズおよび予測方式を決定し、領域情報、予測モード情報、動きベクトルなどから成るサイド情報と予測画像を出力する領域予測決定部と、領域予測決定部から出力される上記サイド情報を符号化するサイド情報符号化部を具備することで、複数の動き補償フレーム間予測方式の中で、動きベクトルなどのサイド情報量、もしくは、予測誤差が最も少なくなる予測方式を用いることが可能となる。
【００５８】
（４）動き補償フレーム間予測処理の際に、符号化の単位となる領域を斜め方向に２分割もしくは４分割した小領域毎にアフィン変換による予測を用いて予測画像を生成し、出力する予測部を具備することで、従来では不可能であった被写体の形状・大きさ・位置に対応し、動きベクトルなどのサイド情報、もしくは、予測誤差を減少させることが可能となる。
【００５９】
（５）動き補償フレーム間予測処理の際に、符号化の単位となる領域を斜め方向に２分割もしくは４分割した小領域毎にアフィン変換による予測を用いて予測画像を生成し、出力する予測部を具備することで、複数の動き補償フレーム間予測方式の中で、動きベクトルなどのサイド情報量、もしくは、予測誤差が最も少なくなる予測方式を用いること、および、従来では不可能であった被写体の形状・大きさ・位置に対応し、動きベクトルなどのサイド情報、もしくは、予測誤差を減少させることが可能となる。
【００６０】
（６）符号化サイド情報を復号し、領域情報、予測モード情報、動きベクトルなどから成るサイド情報を復号し、出力するサイド情報符号化部と、動き補償フレーム間予測処理の際に、可変サイズの小領域毎に異なる予測方式を用いて複数の予測画像を生成し、出力する予測部と、サイド情報復号化部からの指示に従って予測部からの複数の予測画像の中で最適な予測画像を生成し、予測画像を出力する領域予測選択部を具備することで、複数の動き補償フレーム間予測方式の中で、動きベクトルなどのサイド情報量、もしくは、予測誤差が最も少なくなる予測方式を用いることが可能となる。
【００６１】
（７）符号化サイド情報を復号し、領域情報、予測モード情報、動きベクトルなどから成るサイド情報を復号し、出力するサイド情報符号化部と、動き補償フレーム間予測処理の際に、復号化の単位となる領域、または前記単位領域を更に細かく分割した小領域毎に異なる予測方式を用いて複数の予測画像を生成し、出力する予測部と、サイド情報復号化部からの指示に従って予測部からの複数の予測画像の中で最適な予測画像を生成し、予測画像を出力する領域予測選択部を具備することで、複数の動き補償フレーム間予測方式の中で、動きベクトルなどのサイド情報量、もしくは、予測誤差が最も少なくなる予測方式を用いることが可能となる。
【００６２】
（８）符号化サイド情報を復号し、領域情報、予測モード情報、動きベクトルなどから成るサイド情報を復号し、出力するサイド情報符号化部と、動き補償フレーム間予測処理の際に、復号化の単位となる領域、または前記単位領域を更に細かく分割した小領域毎にブロック移動（オーバーラップ動き補償）、アフィン変換、双線形変換、バックグラウンド予測などの予測方式を用いて複数の予測画像を生成し、出力する予測部と、サイド情報復号化部からの指示に従って予測部からの複数の予測画像の中で最適な予測画像を生成し、予測画像を出力する領域予測選択部を具備することで、複数の動き補償フレーム間予測方式の中で、動きベクトルなどのサイド情報量、もしくは、予測誤差が最も少なくなる予測方式を用いることが可能となる。
【００６３】
（９）動き補償フレーム間予測処理の際に、復号化処理の単位となる領域を斜め方向に２分割もしくは４分割した小領域毎にアフィン変換による予測を用いて予測画像を生成し、出力する予測部を具備することで、従来では不可能であった被写体の形状・大きさ・位置に対応し、動きベクトルなどのサイド情報、もしくは、予測誤差を減少させることが可能となる。
【００６４】
（１０）動き補償フレーム間予測処理の際に、復号化処理の単位となる領域を斜め方向に２分割もしくは４分割した小領域毎にアフィン変換による予測を用いて予測画像を生成し、出力する予測部を具備することで、複数の動き補償フレーム間予測方式の中で、動きベクトルなどのサイド情報量、もしくは、予測誤差が最も少なくなる予測方式を用いること、および、従来では不可能であった被写体の形状・大きさ・位置に対応し、動きベクトルなどのサイド情報、もしくは、予測誤差を減少させることが可能となる。
【００６５】
【発明の効果】
以上のように、本発明の動画像符号化装置によれば、符号化対象領域に隣接する領域において該符号化対象領域とは異なる予測方式が決定された場合に、該隣接領域の動きベクトルを用いることによって、符号化対象領域の動きベクトルに要するサイド情報量を少なくすることが可能である。
【図面の簡単な説明】
【図１】 本発明に係る動画像符号化装置の動き補償フレーム間予測部の構成例を示す図である。
【図２】 本発明に係る動画像符号化装置に対応する動画像復号化装置の動き補償フレーム間予測部の構成例を示す図である。
【図３】 動画像符号化装置の構成例を示す図である。
【図４】 動画像復号化装置の構成例を示す図である。
【図５】 従来の動画像符号化装置の動き補償フレーム間予測部の構成例を示す図である。
【図６】 従来の動画像復号化装置の動き補償フレーム間予測部の構成例を示す図である。
【図７】 領域に対する予測方式の選択の例を説明するための図である。
【図８】 領域分割方式の例を説明するための図である。
【図９】 三角形による領域の分割を示す図である。
【図１０】 前方向予測を行う場合のアフィン変換を用いたフレーム間予測の説明図である。
【符号の説明】
１１ 減算部
１２ 画像符号化部
１３ 符号化制御部
１４ 画像復号化部
１５ 加算部
１６ フレームメモリ部
１７ 動き補償フレーム間予測部
２１ 画像復号化部
２２ 加算部
２３ 動き補償フレーム間予測部
２４ フレームメモリ部
３１ 動きベクトル探索部
３２ａ〜３２ｎ 予測部１〜ｎ
３３ 領域予測決定部
３４ サイド情報符号化部
３５ サイド情報復号化部
３６ａ〜３６ｎ 予測部１〜ｎ
３７ 領域予測選択部
４１ 動きベクトル探索部
４２ 予測フレーム生成部
４３ サイド情報符号化部
５１ 予測フレーム生成部
５２ サイド情報復号化部
【発明の属する技術分野】
本発明は、動画像符号化装置に関し、より詳細には、適応的動き補償フレーム間予測方式を用いた動画像符号化装置に関するものである。
【０００２】
【従来の技術】
従来では ＩＳＤＮ(Integrated Services Digital Network)網などの高速ディジタル網において、テレビ電話やテレビ会議システムなどの動画像通信が実現されていた。近年、ＰＨＳ(Personal Handyphone System)に代表される無線伝送網の進展、およびＰＳＴＮ(Public Switching Telephone Network)網におけるデータ変調・復調技術の進展、さらに画像圧縮技術の進展に伴い、より低ビットレート網における動画像通信への要求が高まっている。
【０００３】
一般にテレビ電話やテレビ会議システムのように、動画像情報を伝送する場合においては、動画像の情報量が膨大なのに対して、伝送に用いる回線の回線速度やコストの点から、伝送する動画像の情報量を圧縮符号化し、情報量を少なくして伝送する事が必要となってくる。
【０００４】
動画像情報を圧縮する符号化方式としては、Ｈ．２６１、ＭＰＥＧ−１(Moving Picture Coding Expert Group)、ＭＰＥＧ−２などがすでに国際標準化されている。さらに６４ｋｂｐｓ以下の超低ビットレートでの符号化方式としてＭＰＥＧ−４の標準化活動が進められている。
【０００５】
現在標準化されている動画像映像符号化方式では、フレーム間予測符号化およびフレーム内符号化を組み合わせて行なうハイブリッド映像符号化方式を採用している。フレーム間予測符号化は、動画像を符号化する際に参照画像から予測画像を生成し、現画像との差分を符号化することで符号量を減少させ伝送することで伝送路の効率的な利用を図るものである。
【０００６】
従来の動画像符号化装置の全体の動作を説明する。従来の動画像符号化装置の全体の構成例を図３に示す。ここで、動き補償フレーム間予測符号化を行なっている場合の定常状態としてフレームメモリ部１６に、予測画像を生成する際に使用される参照画像が記憶されているとする。入力画像が動画像符号化装置に入力され、減算部１１および動き補償フレーム間予測部１７に入力される。
【０００７】
動き補償フレーム間予測部１７では、フレームメモリ部１６に記憶された参照画像と入力画像から動き予測を行ない、減算部１１に対して予測画像を出力する。また、予測の際に得られた動きベクトルなどのサイド情報を符号化し、符号化サイド情報を出力する。
【０００８】
減算部１１は、入力画像から動き補償フレーム間予測部１７より入力した予測画像を減算し、減算した結果（予測誤差情報）を画像符号化部１２に出力する。
【０００９】
画像符号化部１２は、入力された予測誤差信号をＤＣＴ(Discrete Cosine Transform)変換などの空間変換および量子化を行ない、符号化画像情報として出力する。同時に、画像符号化部１２から出力された符号化画像情報は、画像復号部１４によりローカル復号され、加算部１５に出力される。
【００１０】
加算部１５では動き補償フレーム間予測部１７から出力された予測画像と画像復号化部１４より出力された予測誤差情報を加算し、新たな参照画像を生成し、フレームメモリ部１６へ出力する。
【００１１】
フレームメモリ部１６は、加算部１５より出力された新たな参照画像を記憶し、次の入力画像の符号化の際に前記動き補償フレーム間予測部１７に出力される。以上、説明したような動作を繰り返すことにより、動画像符号化装置では連続した符号化画像情報（予測誤差情報）および符号化サイド情報の出力を行なう。
【００１２】
次に、従来の動画像復号化装置の全体の動作を説明する。従来の動画像復号化装置の全体の構成例を図４に示す。ここで、動き補償フレーム間予測符号化を行なっている場合の定常状態としてフレームメモリ部２４に、予測画像を生成する際に使用される参照画像が記憶されているとする。動画像復号化装置に入力された符号化画像情報は、画像復号化部２１に入力される。前記画像復号化部２１では、画像符号化装置における画像復号化部１４と同一で符号化画像情報を復号し、得られた誤差画像を加算部２２に出力する。
【００１３】
一方、動画像復号化装置に入力された符号化サイド情報は、動き補償フレーム間予測部２３に入力される。
【００１４】
動き補償フレーム間予測部２３は、入力された符号化サイド情報を復号し、動きベクトルなどのサイド情報を得る。さらに得たサイド情報とフレームメモリ部２４から入力される参照画像より予測画像を生成し、加算部２２に出力する。
【００１５】
加算部２２は、画像復号化部２１より出力された誤差画像と動き補償フレーム間予測部２３より出力された予測画像の加算を行ない、出力画像を得る。この出力画像は、出力画像として動画像復号化装置から出力され、同時にフレームメモリ部２４に対しても出力される。
【００１６】
フレームメモリ部２４は、加算部２２より出力された新たな参照画像を記憶し、次の画像の復号化の際に動き補償フレーム間予測部２３に出力される。以上、説明したような動作を繰り返すことにより、動画像復号化装置では連続した出力画像の出力を行なう。
【００１７】
次に、動画像符号化装置および動画像復号化装置における動き補償フレーム間予測部の動作および各部で用いられる方式について説明する。まず、動画像符号化装置における動き補償フレーム間予測部１７の構成例および動作を説明する。図５に示すように、動き補償フレーム間予測部１７は、動きベクトル探索部４１、予測フレーム生成部４２、サイド情報符号化部４３から構成されている。
【００１８】
動きベクトル探索部４１は、入力された入力画像とフレームメモリ部１６から入力された参照画像より動きベクトルを探索し予測フレーム生成部４２に出力する。予測フレーム生成部４２は、入力された動きベクトルと参照画像よりブロック移動、アフィン変換、双線形変換などの予測方式のいずれか一つを用いて予測画像を生成する。
【００１９】
また、予測画像の生成の際には、領域情報、動きベクトルなどのサイド情報が得られる。生成された予測画像は、減算部１１および加算部１５に出力され、サイド情報は、サイド情報符号化部４３に出力される。サイド情報符号化部４３は予測フレーム生成部４２より入力されたサイド情報を符号化し、符号化サイド情報として出力する。
【００２０】
次に、動画像復号化装置における動き補償フレーム間予測部２３の構成および動作を説明する。図６に示すように、動き補償フレーム間予測部２３は、予測フレーム生成部５１、サイド情報復号化部５２から構成されている。前記動き補償フレーム間予測部２３に入力された符号化サイド情報は、サイド情報復号化部５２に入力される。
【００２１】
サイド情報復号化部５２では、入力された符号化サイド情報を復号し、領域情報、動きベクトルなどのサイド情報を得、予測フレーム生成部５１に出力する。予測フレーム生成部５１は、サイド情報復号化部５２より入力されたサイド情報およびフレームメモリ部２４より入力された参照画像よりフレーム間予測処理を行ない、得られた予測画像を加算部２２に出力する。
【００２２】
次に、アフィン変換について説明する。アフィン変換は、ある画像フレームから別の画像フレームへの写像を６つのパラメータにより表現することにより行われる。一般的に、アフィンパラメータの計算の簡便化などの理由によりアフィン変換は、三角形領域を対象として行われる。
【００２３】
前方向予測を行う場合のアフィン変換を用いたフレーム間予測の説明図を図１０に示す。現画像フレームのコントロールグリッド点Ａ，Ｂ，Ｃの動きベクトルを探索した結果、参照フレームのコントロールグリッド点Ａ′，Ｂ′，Ｃ′が対応する位置であったとする。
【００２４】
アフィンパラメータを求めるためには、まず、４つのコントロールグリッド点のうち３点を選択し領域の分割を行う。例えば、現画像フレームでは、Ａ，Ｂ，ＣとＢ，Ｃ，Ｄのような領域の分割を行う。対応して参照画像フレームでは、Ａ′，Ｂ′，Ｃ′とＢ′，Ｃ′，Ｄ′に分割される。領域を三角形に分割した後、各三角形の頂点の位置（一方が頂点の位置で、片方が動きベクトルでもよい）よりアフィンパラメータを計算する。
【００２５】
そして、求められたアフィンパラメータより分割された三角形領域の内部の画素全てを予測画像フレームに写像することにより予測画像フレームを生成する。この際、参照画像フレーム中で参照画像フレーム中で参照される画素位置が整数でなかった場合には、双線形内挿などの予測値の補間を行い予測画像フレームの画素値の決定を行う。以上の処理を行なうことにより予測画像を生成する。
【００２６】
【発明が解決しようとする課題】
しかしながら、上述した従来の技術においては、動き補償フレーム間予測として用いられる方式が固定的に決められていたため、アフィン変換を用いた動き補償フレーム間予測方式を用いた場合に、ブロック移動を用いた動き補償フレーム間予測方式で予測を表現した方が、全体としての符号量が減少することがあるが対応できないという問題点があった。
【００２７】
また、アフィン変換を用いた動き補償フレーム間予測方式において、領域を分割する際に、被写体の形状・大きさ・位置によって、予測効率が十分でないことがあるという問題点があった。
【００２８】
【課題を解決するための手段】
本願の第１の発明は、複数の動き補償フレーム間予測方式を用いて画像フレームを符号化する動画像符号化装置であって、画像フレームの動きベクトルを探索する動きベクトル探索手段と、前記画像フレームを複数の領域に分割し、前記動きベクトルと前記複数の予測方式を用いて、該領域毎に複数の予測画像を生成する予測手段と、前記複数の予測画像のうち符号化効率が最適な予測方式を決定し、該予測方式および前記動きベクトルを示すサイド情報と予測画像とを出力する領域予測決定手段と、前記サイド情報を符号化するサイド情報符号化手段とを備え、前記サイド情報符号化手段が、符号化対象領域に隣接する領域において該符号化対象領域とは異なる予測方式が決定された場合に、該隣接領域の動きベクトルを用いることによって、符号化対象領域の動きベクトルに要するサイド情報量を少なくしたことを特徴とする。
【００２９】
本願の第２の発明は、前記符号化対象領域ではブロック移動による予測方式が決定されることを特徴とする。
【００３０】
本願の第３の発明は、前記隣接領域ではアフィン変換による予測方式が決定されることを特徴とする。
【００３４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。動画像符号化装置および動画像復号化装置の全体的な動作は、図３及び図４に示した従来の動画像符号化装置および動画像復号化装置で説明したものと同様である。動画像符号化装置の構成例を図３に、動画像復号化装置の構成例を図４に示す。ここでは、動画像符号化装置における動き補償フレーム間予測部および動画像復号化装置における動き補償フレーム間予測部に関する動作を説明する。
【００３５】
まず始めに、動画像符号化装置における本発明の動き補償フレーム間予測部１７の構成例を図１に示す。図１において、３１は動きベクトル探索部、３２ａ、３２ｂ、．．．、３２ｎは、予測部１、予測部２、．．．、予測部ｎ、３３は領域予測決定部、３４はサイド情報符号化部である。動きベクトル探索部３１は、入力された入力画像フレームとフレームメモリ部１６から入力された参照画像フレームより動きベクトルを探索し、予測部１〜ｎ（３２ａ〜３２ｎ）に出力する。
【００３６】
各予測部１〜ｎ（３２ａ〜３２ｎ）は、入力された動きベクトルおよびフレームメモリ部１６より入力された参照画像フレームより、異なるｎ個の動き補償フレーム間予測方式を用いて予測画像を生成する。この際、各予測部１〜ｎ（３２ａ〜３２ｎ）は、入力された参照画像フレームを一つ以上の小領域に分割し、フレーム間予測処理を行う。このそれぞれの領域を、以後、処理小領域と呼ぶ。
【００３７】
そして、各予測部１〜ｎ（３２ａ〜３２ｎ）は、生成した予測画像１〜ｎ（一つ以上の処理小領域）およびフレーム間予測処理で使用した動きベクトルを領域予測決定部３３に出力する。
【００３８】
領域決定部３３は、予測部１〜ｎ（３２ａ〜３２ｎ）より入力された予測画像１〜ｎと入力画像フレームから差分を計算し、各処理小領域毎に誤差が最小となる予測画像を採用し、処理小領域を構成する動きベクトル、領域情報、予測モード情報などのサイド情報をサイド情報符号化部３４に出力し、また、採用された各処理小領域をまとめて予測画像フレームとして出力する。
【００３９】
サイド情報符号化部３４は、領域予測決定部３３より入力されたサイド情報（動きベクトル、領域情報、予測モード情報）を符号化し符号化サイド情報を出力する。
【００４０】
次に、本発明の動画像符号化装置に対応する動画像復号化装置における動き補償フレーム間予測部２３の構成例を図２に示す。図２において、３５はサイド情報復号化部、３６ａ、３６ｂ、．．．、３６ｎは、予測部１、予測部２、．．．、予測部ｎ、３７は領域予測選択部である。
【００４１】
動き補償フレーム間予測部２３に入力された符号化サイド情報は、サイド情報復号化部３５に入力される。サイド情報復号化部３５では、入力された符号化サイド情報を復号し、動きベクトル、領域情報、予測モード情報を得、予測部１〜予測部ｎ（３６ａ〜３６ｎ）に動きベクトルを、領域予測選択部３７に領域情報、予測モード情報を出力する。
【００４２】
予測部１〜ｎ（３６ａ〜３６ｎ）は、サイド情報復号化部３５より入力された動きベクトルとフレームメモリ部２４より入力された参照画像フレームより、異なるｎ個の動き補償フレーム間予測方式を用いて予測画像を生成する。
【００４３】
この際、各予測部は、入力された参照画像フレームを一つ以上の処理小領域に分割し、フレーム間予測処理を行う。そして、各予測部１〜ｎ（３６ａ〜３６ｎ）は、生成した予測画像１〜ｎ（一つ以上の処理小領域）を領域予測選択部３７に出力する。
【００４４】
領域選択部３７は、サイド情報復号化部３５からの領域情報、予測モード情報に従って、予測部１〜ｎ（３６ａ〜３６ｎ）より入力された予測画像１〜ｎを選択して、予測画像フレームを生成する。そして、得られた予測画像フレームを出力する。
【００４５】
次に、予測部に関して説明する。図７に、本発明における予測方式の選択に関する例を示す。
【００４６】
従来の予測方式では、画像のある領域に対してただ一つの動き補償フレーム間予測方式を用いていたため、図７−Ａに示すように領域が細分化され、動きベクトルなどのサイド情報量が増加する傾向にあった。本発明による予測方式では、画像の領域を小領域に分割し、各小領域に対して異なる動き補償フレーム間予測方式を用いる。
【００４７】
例えば、図７−Ｂに示すように、網で囲まれた小領域１と２つの三角形からなる小領域２を異なる動き補償フレーム間予測を用いた場合、小領域１は、ブロック移動による動き補償フレーム間予測方式を用い、小領域２は、アフィン変換による動き補償フレーム間予測方式を用いる。
【００４８】
この例では、小領域１は、隣接する小領域２の左上の動きベクトルを用いる。上記のように小領域毎に異なる動き補償フレーム間予測方式を用いることにより予測処理の際に必要となる動きベクトルが７つから４つに減っていることが分かる。
【００４９】
例では、１６×１６画素の単位領域を更に細かく小領域に分割し、予測部１（３２ａ）がブロック移動による動き補償フレーム間予測方式を用いている場合を、また予測部２（３２ｂ）がアフィン変換による動き補償フレーム間予測方式を用いている場合を示した。
【００５０】
本発明では、上記の例のように単位領域のみを対象とするのではなく、様々なサイズの領域を対象として、予測部１〜ｎ（３２ａ〜３２ｎ）において、オーバーラップ動き補償、双線形変換、バックグラウンド予測など他の動き補償フレーム間予測方式を用いることが例として考えられる。
【００５１】
次に、アフィン変換による動き補償フレーム間予測方式を用いた予測部に関して説明する。図８にアフィン変換による動き補償フレーム間予測方式を用いた場合の領域分割の例を示す。アフィン変換による動き補償フレーム間予測では、三角形の領域を対象としているため、１６×１６画素の単位領域を複数の三角形に分割して処理を行う。
【００５２】
図９に１６×１６画素の単位領域を複数の三角形により分割した領域分割例を示す。図８に示すような被写体をアフィン変換による動き補償フレーム間予測方式を用いて予測する場合、図８−Ａのように領域分割を５分割してもよいが、図８−Ｂに示すように、領域を斜め方向に４分割する分割方式をとると、予測処理の際に必要となる動きベクトルが７つから５つに減少することが分かる。
【００５３】
上記のような分割数の少ない場合、例えば領域を斜め方向に２分割（図９において、“１，２”で示す分割方式）あるいは４分割（図９において、“２７”で示す分割方式）する分割方式のように分割数の少ない場合でも、上記小領域毎に異なる予測方式を用いて複数の予測画像を生成する方式と組み合わせることにより、より動きベクトルなどのサイド情報が少なくても、予測効率を十分に上げることができる。
【００５４】
以上の説明から明らかなように、本発明によると、以下のような効果がある。
【００５５】
（１）動き補償フレーム間予測処理の際に、可変サイズの小領域毎に異なる予測方式を用いて複数の予測画像を生成し、出力する予測部と、予測部からの複数の予測画像より最適な領域サイズおよび予測方式を決定し、領域情報、予測モード情報、動きベクトルなどから成るサイド情報と予測画像を出力する領域予測決定部と、領域予測決定部から出力される上記サイド情報を符号化するサイド情報符号化部を具備することで、複数の動き補償フレーム間予測方式の中で、動きベクトルなどのサイド情報量、もしくは、予測誤差が最も少なくなる予測方式を用いることが可能となる。
【００５６】
（２）動き補償フレーム間予測処理の際に、符号化の単位となる領域、または前記単位領域を更に細かく分割した小領域毎に異なる予測方式を用いて複数の予測画像を生成し、出力する予測部と、予測部からの複数の予測画像より処理単位が単位領域または単位領域を更に分割した小領域であるかの情報（領域情報）および予測方式を決定し、領域情報、予測モード情報、動きベクトルなどから成るサイド情報と予測画像を出力する領域予測決定部と、領域予測決定部から出力される上記サイド情報を符号化するサイド情報符号化部を具備することで、複数の動き補償フレーム間予測方式の中で、動きベクトルなどのサイド情報量、もしくは、予測誤差が最も少なくなる予測方式を用いることが可能となる。
【００５７】
（３）動き補償フレーム間予測処理の際に、可変サイズの小領域毎にブロック移動（オーバーラップ動き補償）、アフィン変換、双線形変換、バックグラウンド予測などの予測方式を用いて複数の予測画像を生成し、出力する予測部と、予測部からの複数の予測画像より最適な領域サイズおよび予測方式を決定し、領域情報、予測モード情報、動きベクトルなどから成るサイド情報と予測画像を出力する領域予測決定部と、領域予測決定部から出力される上記サイド情報を符号化するサイド情報符号化部を具備することで、複数の動き補償フレーム間予測方式の中で、動きベクトルなどのサイド情報量、もしくは、予測誤差が最も少なくなる予測方式を用いることが可能となる。
【００５８】
（４）動き補償フレーム間予測処理の際に、符号化の単位となる領域を斜め方向に２分割もしくは４分割した小領域毎にアフィン変換による予測を用いて予測画像を生成し、出力する予測部を具備することで、従来では不可能であった被写体の形状・大きさ・位置に対応し、動きベクトルなどのサイド情報、もしくは、予測誤差を減少させることが可能となる。
【００５９】
（５）動き補償フレーム間予測処理の際に、符号化の単位となる領域を斜め方向に２分割もしくは４分割した小領域毎にアフィン変換による予測を用いて予測画像を生成し、出力する予測部を具備することで、複数の動き補償フレーム間予測方式の中で、動きベクトルなどのサイド情報量、もしくは、予測誤差が最も少なくなる予測方式を用いること、および、従来では不可能であった被写体の形状・大きさ・位置に対応し、動きベクトルなどのサイド情報、もしくは、予測誤差を減少させることが可能となる。
【００６０】
（６）符号化サイド情報を復号し、領域情報、予測モード情報、動きベクトルなどから成るサイド情報を復号し、出力するサイド情報符号化部と、動き補償フレーム間予測処理の際に、可変サイズの小領域毎に異なる予測方式を用いて複数の予測画像を生成し、出力する予測部と、サイド情報復号化部からの指示に従って予測部からの複数の予測画像の中で最適な予測画像を生成し、予測画像を出力する領域予測選択部を具備することで、複数の動き補償フレーム間予測方式の中で、動きベクトルなどのサイド情報量、もしくは、予測誤差が最も少なくなる予測方式を用いることが可能となる。
【００６１】
（７）符号化サイド情報を復号し、領域情報、予測モード情報、動きベクトルなどから成るサイド情報を復号し、出力するサイド情報符号化部と、動き補償フレーム間予測処理の際に、復号化の単位となる領域、または前記単位領域を更に細かく分割した小領域毎に異なる予測方式を用いて複数の予測画像を生成し、出力する予測部と、サイド情報復号化部からの指示に従って予測部からの複数の予測画像の中で最適な予測画像を生成し、予測画像を出力する領域予測選択部を具備することで、複数の動き補償フレーム間予測方式の中で、動きベクトルなどのサイド情報量、もしくは、予測誤差が最も少なくなる予測方式を用いることが可能となる。
【００６２】
（８）符号化サイド情報を復号し、領域情報、予測モード情報、動きベクトルなどから成るサイド情報を復号し、出力するサイド情報符号化部と、動き補償フレーム間予測処理の際に、復号化の単位となる領域、または前記単位領域を更に細かく分割した小領域毎にブロック移動（オーバーラップ動き補償）、アフィン変換、双線形変換、バックグラウンド予測などの予測方式を用いて複数の予測画像を生成し、出力する予測部と、サイド情報復号化部からの指示に従って予測部からの複数の予測画像の中で最適な予測画像を生成し、予測画像を出力する領域予測選択部を具備することで、複数の動き補償フレーム間予測方式の中で、動きベクトルなどのサイド情報量、もしくは、予測誤差が最も少なくなる予測方式を用いることが可能となる。
【００６３】
（９）動き補償フレーム間予測処理の際に、復号化処理の単位となる領域を斜め方向に２分割もしくは４分割した小領域毎にアフィン変換による予測を用いて予測画像を生成し、出力する予測部を具備することで、従来では不可能であった被写体の形状・大きさ・位置に対応し、動きベクトルなどのサイド情報、もしくは、予測誤差を減少させることが可能となる。
【００６４】
（１０）動き補償フレーム間予測処理の際に、復号化処理の単位となる領域を斜め方向に２分割もしくは４分割した小領域毎にアフィン変換による予測を用いて予測画像を生成し、出力する予測部を具備することで、複数の動き補償フレーム間予測方式の中で、動きベクトルなどのサイド情報量、もしくは、予測誤差が最も少なくなる予測方式を用いること、および、従来では不可能であった被写体の形状・大きさ・位置に対応し、動きベクトルなどのサイド情報、もしくは、予測誤差を減少させることが可能となる。
【００６５】
【発明の効果】
以上のように、本発明の動画像符号化装置によれば、符号化対象領域に隣接する領域において該符号化対象領域とは異なる予測方式が決定された場合に、該隣接領域の動きベクトルを用いることによって、符号化対象領域の動きベクトルに要するサイド情報量を少なくすることが可能である。
【図面の簡単な説明】
【図１】 本発明に係る動画像符号化装置の動き補償フレーム間予測部の構成例を示す図である。
【図２】 本発明に係る動画像符号化装置に対応する動画像復号化装置の動き補償フレーム間予測部の構成例を示す図である。
【図３】 動画像符号化装置の構成例を示す図である。
【図４】 動画像復号化装置の構成例を示す図である。
【図５】 従来の動画像符号化装置の動き補償フレーム間予測部の構成例を示す図である。
【図６】 従来の動画像復号化装置の動き補償フレーム間予測部の構成例を示す図である。
【図７】 領域に対する予測方式の選択の例を説明するための図である。
【図８】 領域分割方式の例を説明するための図である。
【図９】 三角形による領域の分割を示す図である。
【図１０】 前方向予測を行う場合のアフィン変換を用いたフレーム間予測の説明図である。
【符号の説明】
１１ 減算部
１２ 画像符号化部
１３ 符号化制御部
１４ 画像復号化部
１５ 加算部
１６ フレームメモリ部
１７ 動き補償フレーム間予測部
２１ 画像復号化部
２２ 加算部
２３ 動き補償フレーム間予測部
２４ フレームメモリ部
３１ 動きベクトル探索部
３２ａ〜３２ｎ 予測部１〜ｎ
３３ 領域予測決定部
３４ サイド情報符号化部
３５ サイド情報復号化部
３６ａ〜３６ｎ 予測部１〜ｎ
３７ 領域予測選択部
４１ 動きベクトル探索部
４２ 予測フレーム生成部
４３ サイド情報符号化部
５１ 予測フレーム生成部
５２ サイド情報復号化部
Claims (3)
- 複数の動き補償フレーム間予測方式を用いて画像フレームを符号化する動画像符号化装置であって、
画像フレームの動きベクトルを探索する動きベクトル探索手段と、
前記画像フレームを複数の領域に分割し、前記動きベクトルと前記複数の予測方式を用いて、該領域毎に複数の予測画像を生成する予測手段と、
前記複数の予測画像のうち符号化効率が最適な予測方式を決定し、該予測方式および前記動きベクトルを示すサイド情報と予測画像とを出力する領域予測決定手段と、
前記サイド情報を符号化するサイド情報符号化手段とを備え、
前記サイド情報符号化手段は、符号化対象領域に隣接する領域において該符号化対象領域とは異なる予測方式が決定された場合に、該隣接領域の動きベクトルを用いることによって、符号化対象領域の動きベクトルに要するサイド情報量を少なくした
ことを特徴とする動画像符号化装置。 - 前記符号化対象領域ではブロック移動による予測方式が決定される
ことを特徴とする前記請求項１に記載の動画像符号化装置。 - 前記隣接領域ではアフィン変換による予測方式が決定される
ことを特徴とする前記請求項１または２に記載の動画像符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001368278A JP3746708B2 (ja) | 2001-12-03 | 2001-12-03 | 動画像符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001368278A JP3746708B2 (ja) | 2001-12-03 | 2001-12-03 | 動画像符号化装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6126796A Division JP3277116B2 (ja) | 1995-01-12 | 1996-03-18 | 動画像符号化装置および動画像復号化装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005086858A Division JP4134078B2 (ja) | 2005-03-24 | 2005-03-24 | 動画像復号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002185970A JP2002185970A (ja) | 2002-06-28 |
| JP3746708B2 true JP3746708B2 (ja) | 2006-02-15 |
Family
ID=19177891
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001368278A Expired - Fee Related JP3746708B2 (ja) | 2001-12-03 | 2001-12-03 | 動画像符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3746708B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101375669B1 (ko) | 2006-11-07 | 2014-03-19 | 삼성전자주식회사 | 인터 예측 부호화, 복호화 방법 및 장치 |
| CN101569201B (zh) | 2006-11-07 | 2011-10-05 | 三星电子株式会社 | 基于帧内预测进行编码和解码的方法和装置 |
| JP4940024B2 (ja) * | 2007-06-06 | 2012-05-30 | 株式会社東芝 | 情報処理装置、動きベクトル生成プログラムおよび補間画像生成プログラム |
| JP5716437B2 (ja) * | 2011-02-08 | 2015-05-13 | 株式会社Ｊｖｃケンウッド | 画像符号化装置、画像符号化方法および画像符号化プログラム |
| JP5716438B2 (ja) * | 2011-02-08 | 2015-05-13 | 株式会社Ｊｖｃケンウッド | 画像復号装置、画像復号方法および画像復号プログラム |
| US10798403B2 (en) * | 2016-01-29 | 2020-10-06 | Sharp Kabushiki Kaisha | Prediction image generation device, video decoding device, and video coding device |
-
2001
- 2001-12-03 JP JP2001368278A patent/JP3746708B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002185970A (ja) | 2002-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108769682B (zh) | 视频编码、解码方法、装置、计算机设备和存储介质 | |
| JPH09172644A (ja) | アフィン変換による動き補償フレーム間予測方式を用いた動画像符号化・復号化装置 | |
| JP5081305B2 (ja) | フレーム間予測符号化の方法および装置 | |
| US6275532B1 (en) | Video coding device and video decoding device with a motion compensated interframe prediction | |
| CA3014042C (en) | Low-complexity intra prediction for video coding | |
| CN101232622B (zh) | 用于子像素值内插的方法 | |
| JP3936335B2 (ja) | 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、プログラム及びプログラムを記憶したコンピュータ読み取り可能な記録媒体 | |
| JP4501631B2 (ja) | 画像符号化装置及び方法、画像符号化装置のコンピュータ・プログラム、並びに携帯端末 | |
| US20130136187A1 (en) | Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, and program thereof | |
| CN104320665A (zh) | 图像处理设备和方法 | |
| JP2008154015A (ja) | 復号化方法および符号化方法 | |
| JP3637996B2 (ja) | 領域統合が可能な動き補償フレーム間予測方式を用いた動画像符号化・復号化装置 | |
| JP2005510150A (ja) | より大きな画素グリッド動き補償を利用した複雑さが減少されたビデオ復号化 | |
| JP4360093B2 (ja) | 画像処理装置および符号化装置とそれらの方法 | |
| JP2006279573A (ja) | 符号化装置と方法、ならびに復号装置と方法 | |
| JPH1093975A (ja) | 動画像符号化装置における動き補償フレーム間予測方法 | |
| JP4427553B2 (ja) | 動画像復号化装置 | |
| JP3746708B2 (ja) | 動画像符号化装置 | |
| JP2001224036A (ja) | 動画像符号化装置 | |
| JP4134078B2 (ja) | 動画像復号化装置 | |
| JP3277116B2 (ja) | 動画像符号化装置および動画像復号化装置 | |
| JP2003348595A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP5067471B2 (ja) | 復号化方法、復号化装置、及びプログラム | |
| JP4039221B2 (ja) | 画像処理装置、符号化装置、復号装置およびそれらの方法 | |
| JPH10150665A (ja) | 予測画像の作成方法及び画像符号化方法及び画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050201 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050324 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050324 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051124 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091202 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091202 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101202 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111202 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |