JP3637996B2 - 領域統合が可能な動き補償フレーム間予測方式を用いた動画像符号化・復号化装置 - Google Patents
領域統合が可能な動き補償フレーム間予測方式を用いた動画像符号化・復号化装置 Download PDFInfo
- Publication number
- JP3637996B2 JP3637996B2 JP07722897A JP7722897A JP3637996B2 JP 3637996 B2 JP3637996 B2 JP 3637996B2 JP 07722897 A JP07722897 A JP 07722897A JP 7722897 A JP7722897 A JP 7722897A JP 3637996 B2 JP3637996 B2 JP 3637996B2
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- image
- region
- information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像符号化装置および動画像復号化装置に関し、より詳細には、領域統合が可能な動き補償フレーム間予測方式による動画像の符号および復号を行う当該装置に関する。
【０００２】
【従来の技術】
従来では、ＩＳＤＮ（Integrated Services Digital Network）網などの高速ディジタル網において、テレビ電話やテレビ会議システムなどの動画像通信が実現されていた。近年、ＰＨＳ（Personal Handyphone System）に代表される無線伝送網の進展、および、ＰＳＴＮ（Public Switching Telephone Network）網におけるデータ変調・復調技術の進展、さらに、画像圧縮技術の進展に伴い、より低ビットレート網における動画像通信への要求が高まっている。
一般にテレビ電話やテレビ会議システムのように、動画像情報を伝送する場合においては、動画像の情報量が膨大なのに対して、伝送に用いる回線の回線速度や回線コストの点から、伝送する動画像の情報量を圧縮符号化し、情報量を少なくして伝送することが必要となってくる。
【０００３】
動画像情報を圧縮する符号化方式としては、Ｈ．２６１、ＭＰＥＧ−１（ＭＰＥＧ：Moving Picture Coding Expert Group）、ＭＰＥＧ−２などがすでに国際標準化されている。さらに、６４ｋｂｐｓ以下の超低ビットレートの符号化方式としてＭＰＥＧ−４の標準化活動が進められている。
現在、標準化されている動画像映像符号化方式では、フレーム間予測符号化およびフレーム内符号化を組み合わせて行うハイブリッド映像符号化方式を採用している。
フレーム間予測符号化は、動画像を符号化する際に参照画像から対象とする現画像を予測することにより予測画像を生成し、現画像との差分をとり、それを符号化することで符号化量を減少させ伝送することで伝送路の効率的な利用を図るものである。
【０００４】
図７は、従来の動画像符号化装置全体の基本構成を例示するブロック図である。
図７にもとづき、従来の動画像符号化装置の全体の動作を以下に説明する。
ここで、動き補償フレーム間予測符号化を行っている場合の定常状態としてフレームメモリ部１６に、予測画像を生成する際に使用される参照画像が記憶されているものとする。
動画像符号化装置に入力された入力画像フレームは、装置内の減算部１１および動き補償フレーム間予測部１７′に入力される。動き補償フレーム間予測部１７′では、フレームメモリ部１６に記憶された参照画像と入力画像フレームから動き予測を行い、減算部１１に対して予測画像フレームを出力する。
【０００５】
また、動き補償フレーム間予測部１７′では、予測の際に得られた動きベクトルなどの予測サイド情報（以下、サイド情報と略記する）を符号化し、符号化サイド情報を出力し、復号化に供する。
減算部１１は、入力画像フレームから動き補償フレーム間予測部１７′より入力した予測画像フレームを減算し、減算した結果（予測誤差情報）を画像符号化部１２に出力する。
画像符号化部１２は、入力された予測誤差情報をＤＣＴ（Discrete Cosine Transform）変換などの空間変換および量子化を行い、符号化画像情報として出力し、伝送後の復号に供する。
【０００６】
画像符号化部１２から出力された符号化画像情報は、同時に、画像復号化部１４によりローカルに復号され、加算部１５に出力される。
加算部１５では、動き補償フレーム間予測部１７′から出力された予測画像フレームと画像復号化部１４より出力された予測誤差情報を加算し、新たな参照画像フレームを生成し、フレームメモリ部１６へ出力する。
フレームメモリ部１６は、加算部１５より出力された新たな参照画像フレームを記憶し、次の入力画像フレームの符号化の際に、前記動き補償フレーム間予測部１７′に出力する。
以上、説明したような動作を繰り返すことにより、動画像符号化装置では、連続した符号化画像情報（予測誤差情報）および符号化サイド情報の出力を行う。
【０００７】
次に、上述の動画像符号化装置における動き補償フレーム間予測部１７′の動作および各部で用いられる方式について説明する。
図８は、図７に示す従来の動画像符号化装置における動き補償フレーム間予測部１７′の構成の一例を示すブロック図である。
図８の動き補償フレーム間予測部１７′において、５１は動きベクトル探索部、５２ａ，５２ｂ，…，５２ｎは、予測部１，予測部２，…，予測部ｎ、５３は領域予測決定部、５４はサイド情報符号化部である。
【０００８】
動きベクトル探索部５１は、入力された入力画像フレームとフレームメモリ部１６から入力された参照画像フレームより動きベクトルを探索し、予測部１〜ｎ（５２ａ〜５２ｎ）に出力する。
各予測部１〜ｎ（５２ａ〜５２ｎ）は、入力された動きベクトルおよびフレームメモリ部１６より入力された参照画像フレームより異なるｎ個の動き補償フレーム間予測方式を用いて予測画像を生成する。
この際、各予測部は、入力された参照画像フレームをマクロブロックと呼ばれる単位領域に分割し、フレーム間予測処理を行う。このそれぞれの領域を、以後、「処理単位領域」と呼ぶ。
そして、各予測部１〜ｎ（５２ａ〜５２ｎ）は、生成した予測画像１〜ｎおよびフレーム間予測処理で使用した動きベクトルを領域予測決定部５３に出力する。
【０００９】
領域予測決定部５３は、予測部１〜ｎ（５２ａ〜５２ｎ）より入力された予測画像１〜ｎと入力画像フレームから差分を計算し、各処理単位領域毎の誤差を比較して誤差が最小となる予測画像を採用し、採用した処理単位領域の予測画像を構成する要素としての動きベクトル，領域情報，予測モード情報といったサイド情報をサイド情報符号化部５４に出力し、また、採用された各処理単位領域をまとめて予測画像フレームとして出力する。
サイド情報符号化部５４は、領域予測決定部５３より入力されたサイド情報（動きベクトル，領域情報，予測モード情報）を符号化し符号化サイド情報を出力する。
【００１０】
図９は、従来の動画像復号化装置全体の基本構成を例示するブロック図である。
次に、図９にもとづき、従来の動画像復号化装置の全体の動作を説明する。
ここで、動き補償フレーム間予測復号化を行っている場合の定常状態としてフレームメモリ部２４に、予測画像フレームを生成する際に使用される参照画像フレームが記憶されているものとする。
【００１１】
動画像復号化装置に入力された符号化画像情報は、装置内の画像復号化部２１に入力される。前記画像復号化部２１では、画像符号化装置（図７，参照）における画像復号化部１４と同一の手段をなすもので符号化画像情報を復号し、得られた誤差画像を加算部２２に出力する。
一方、動画像復号化装置に入力された符号化サイド情報は、動き補償フレーム間予測部２３′に入力される。
動き補償フレーム間予測部２３′は、入力された符号化サイド情報を復号化し動きベクトルなどのサイド情報を得る。さらに得たサイド情報とフレームメモリ部２４から入力される参照画像フレームとにより予測画像フレームを生成し、加算部２２に出力する。
加算部２２は、画像復号化部２１より出力された予測誤差画像と動き補償フレーム間予測部２３′より出力された予測画像フレームの加算を行い、出力画像フレームを得る。
この出力画像フレームは、動画像復号化装置からの出力画像フレームとして出力されると同時に、フレームメモリ部２４に対しても出力される。
フレームメモリ部２４は、加算部２２より出力された出力画像フレームを新たな参照画像フレームとしてこれを記憶し、次の符号化画像情報の復号化の際に動き補償フレーム間予測部２３′に出力される。
【００１２】
以上に説明したような動作が繰り返えされるが、ここで、動画像復号化装置における動き補償フレーム間予測部２３′の構成および動作をより詳細に説明する。
図１０は、図９に示す従来の動画像復号化装置における動き補償フレーム間予測部２３′の構成の一例を示すブロック図である。
図１０の動き補償フレーム間予測部２３′において、５５はサイド情報復号化部、５６ａ，５６ｂ，…，５６ｎは予測部１，予測部２，…，予測部ｎである。
【００１３】
動き補償フレーム間予測部２３′に入力された符号化サイド情報は、サイド情報復号化部５５に入力される。
サイド情報復号化部５５では、入力された符号化サイド情報を復号し、動きベクトル，予測モード情報を得、予測部１〜ｎ（５６ａ〜５６ｎ）に動きベクトルを出力する。
また、サイド情報復号化部５５は、予測部１〜ｎ（５６ａ〜５６ｎ）からの出力をスイッチングするための予測モード選択信号を出力する。
【００１４】
サイド情報復号化部５５より動きベクトルを入力された予測部１〜ｎ（５６ａ〜５６ｎ）は、入力された動きベクトルとフレームメモリ部２４より入力された参照画像フレームより、各予測部に固有の動き補償フレーム間予測方式を用いて各処理単位領域毎に予測画像を生成し、出力する。
予測部（５６ａ〜５６ｎ）から出力された予測画像１〜ｎは、サイド情報復号化部５５から出力される予測モード選択信号によってスイッチングされ、予測画像フレームとして出力される。
以上に説明したような動作が繰り返えされることにより、動画像復号化装置では、符号化画像情報および符号化サイド情報を復号化し、出力画像フレームの出力を行うことになる。
【００１５】
【発明が解決しようとする課題】
従来では、マクロブロックと呼ばれる処理単位領域毎に動き補償フレーム間予測処理が行われ、領域情報，予測モード，動きベクトル，予測誤差情報などが符号化されていた。
そのため、隣接する処理単位領域（即ち、動き補償フレーム間予測の処理単位となる画像領域）で同一な予測モード，動きベクトルが検出された場合において、サイド情報が重複して符号化・伝送されることになり、効率的な符号化ができないという問題があった。
また、処理単位領域毎に予測を行っているため、本来であれば同一の動きをしている領域においても異なる予測モードや動きベクトルが選択されてしまうことがあり、予測効率の悪化や、同一の動き領域全体の予測結果の悪化が起こるという問題点があった。
更に、動いている領域の輪郭と処理単位領域との境界が一致しておらず、領域間の境界部分での予測効率の悪化が起こるという問題点があった。
【００１６】
本発明は、こうした従来技術における問題点に鑑みてなされたもので、処理単位領域毎に行われる動き補償フレーム間予測及びその符号化処理において、より効率的な符号化を行い、また、処理単位領域のとり方によって起きる予測のずれを発生させないようにした動き補償フレーム間予測方式を用いた動画像符号化装置及び該動画像符号化装置による符号化信号を復号する動画像復号化装置を提供することをその解決すべき課題とする。
【００１７】
【課題を解決するための手段】
請求項１の発明は、動き補償フレーム間予測を行い、該予測により得た予測画像フレームと予測対象としての入力画像フレームとの間の予測誤差情報及び前記予測に用いた予測サイド情報を符号化する動画像符号化装置において、前記動き補償フレーム間予測の処理単位となる画像領域毎に異なる予測方式を用いて、前記画像領域に対する複数の領域予測画像を生成し出力する予測部と、該予測部からの前記複数の領域予測画像より前記画像領域に対して予測誤差が最小となる予測方式を決定し、該決定に関わる領域情報，予測モード情報及び動きベクトルを少なくとも含む前記予測サイド情報を出力する領域予測決定部と、該領域予測決定部からの前記予測サイド情報を参照して、隣接する前記画像領域の少なくとも予測モード及び動きベクトルが等しい場合に隣接する前記画像領域同士の領域統合を行うことを決定して、該決定に従い領域統合をしたことを示す領域統合情報を付加し、かつ、領域統合した前記画像領域の動きベクトルのうちから代表する動きベクトルのみを残した前記予測サイド情報を出力するとともに、該予測サイド情報に含まれる領域統合情報，予測モード情報及び動きベクトルに従って前記統合された画像領域に対する統合領域予測画像を生成し、生成された前記統合領域予測画像と、領域統合を行わなかった画像領域に対する前記領域予測画像とを組み合わせて前記予測画像フレームとして出力する予測領域統合決定部とを備えるようにしたものである。
【００１８】
請求項２の発明は、請求項１の発明において、前記予測領域統合決定部は、前記領域予測決定部から出力される前記予測モード情報が一致する場合に、隣接する前記画像領域同士の領域統合を行うようにしたものである。
【００１９】
請求項３の発明は、請求項２の発明において、前記一致する予測モード情報として平行移動を設定するようにしたものである。
【００２０】
請求項４の発明は、請求項２又は３の発明において、前記一致する予測モード情報として双一次変換を設定するようにしたものである。
【００２１】
請求項５の発明は、請求項２又は３の発明において、前記一致する予測モード情報としてアフィン変換を設定するようにしたものである。
【００２２】
請求項６の発明は、請求項１ないし５いずれかの発明において、前記処理単位となる画像領域として領域単位の大きさを異にする複数の画像領域を使用し、前記入力画像フレーム全体を重複しない前記大きさを異にする複数の画像領域に分割して、前記予測部では前記大きさを異にする画像領域に対する領域予測画像を生成して出力し、前記予測領域統合決定部では隣接する大きさを異にする前記画像領域の少なくとも予測モード及び動きベクトルが等しい場合に隣接する大きさを異にする前記画像領域同士の領域統合を行うようにしたものである。
【００２３】
請求項７の発明は、動き補償フレーム間予測方式による符号化画像情報及び符号化予測サイド情報を復号化して出力画像フレームを生成する動画像復号化装置において、符号化予測サイド情報を復号化し、予測の処理単位となる画像領域に関わる領域情報，予測モード情報，動きベクトル及び隣接する前記画像領域同士の領域統合に関わる領域統合情報を少なくとも含む予測サイド情報を出力するとともに、該画像領域の予測方式を示す予測モード選択信号を出力する予測サイド情報復号化部と、前記画像領域に対して複数の異なる予測方式のうちから、前記予測モード選択信号より指示された予測方式を用いて、前記予測サイド情報に基づいて、前記領域統合情報で領域統合されていない前記画像領域に対しては領域予測画像を生成し、前記領域統合情報が示す領域統合された隣接する前記画像領域同士に対しては領域統合された前記画像領域に関する統合領域予測画像を生成する予測部とを備えるようにしたものである。
【００２４】
請求項８の発明は、動き補償フレーム間予測方式による符号化画像情報及び符号化予測サイド情報を復号化して出力画像フレームを生成する動画像復号化装置において、符号化予測サイド情報を復号化し、予測の処理単位となる画像領域に関わる領域情報，予測モード情報，動きベクトル及び隣接する前記画像領域同士の領域統合に関わる領域統合情報を少なくとも含む予測サイド情報を出力するとともに、該画像領域の予測方式を示す予測モード選択信号を出力する予測サイド情報復号化部と、復号化された前記予測サイド情報より動きベクトルを補間して出力する動きベクトル補間部と、前記画像領域に対して複数の異なる予測方式のうちから、前記予測モード選択信号より指示された予測方式を用いて、前記予測サイド情報と前記動きベクトル補間部からの補間された動きベクトルとに基づいて、前記領域統合情報で領域統合されていない前記画像領域に対しては領域予測画像を生成し、前記領域統合情報が示す領域統合された隣接する前記画像領域同士に対しては領域統合された前記画像領域に関する統合領域予測画像を生成する予測部とを備えるようにしたものである。
【００２５】
請求項９の発明は、請求項７又は８の発明において、前記領域統合情報には隣接する前記画像領域同士の予測モード情報が一致することを表わすモード一致情報を含み、前記モード一致情報に従って前記統合された画像領域に対して単一の予測方式を用いて統合領域予測画像を生成するものである。
【００２６】
請求項１０の発明は、請求項９の発明において、前記一致する予測モード情報として平行移動が設定されているものである。
【００２７】
請求項１１の発明は、請求項９又は１０の発明において、前記一致する予測モード情報としてアフィン変換が設定されているものである。
【００２８】
請求項１２の発明は、請求項９又は１０の発明において、前記一致する予測モード情報として双一次変換が設定されているものである。
【００２９】
請求項１３の発明は、請求項７ないし１２いずれかの発明において、前記処理単位となる画像領域として領域単位の大きさを異にする複数の画像領域を使用し、前記出力画像フレーム全体を重複しない前記大きさを異にする複数の画像領域に分割して、前記予測部では前記大きさを異にする画像領域に対する領域予測画像を生成して出力するようにしたものである。
【００３０】
そして、上記のように構成される領域統合が可能な動き補償フレーム間予測方式を用いた動画像符号化・復号化装置によると、隣接する処理単位領域（即ち、動き補償フレーム間予測の処理単位となる画像領域）において同一の予測モード，動きパラメータ（即ち、動きベクトル）が検出された場合、隣接するこれらの処理単位領域を一つの処理領域として扱うことが可能となり、領域の動きを表現するためのサイド情報（領域情報，予測モード，動きベクトルなど）の符号量を減少させることが可能となる。
また、同一の動きをしていると思われる領域全体で同じ予測モードを用いて動き補償フレーム間予測を行うことになるため、同一の動き領域全体での予測効率が向上し、最適な予測結果が得られることになる。
これらの作用によって、より効率的な動き補償フレーム間予測が可能となり、より効率的な動画像の符号化・復号化が可能となる。その結果、従来より低ビットレートな回線・伝送路を用いての動画像通信が可能となる。
【００３１】
【発明の実施の形態】
本発明の実施形態の一例を説明するが、この実施形態における動画像符号化装置および動画像復号化装置の全体の構成は、従来技術を例示するものとして示した図７及び図９の基本構成と変わるところがなく、同図を本発明の実施形態においてもその基本構成の一例として実施し得る。
ここでは、動画像符号化装置および動画像復号化装置の構成要素として本発明による当該装置の構成を特徴付ける領域統合が可能な動き補償フレーム間予測部の動作および予測部の各部で用いられる方式について以下に詳しく説明する。
図１は、本発明による動画像符号化装置における動き補償フレーム間予測部１７の構成を示すブロック図である。
図１において、３１は動きベクトル探索部、３２ａ，３２ｂ，…，３２ｎは予測部１，予測部２，…，予測部ｎ、３３は領域予測決定部、３４は予測領域統合決定部、３５はサイド情報符号化部である。
【００３２】
動きベクトル探索部３１は、入力された入力画像フレームとフレームメモリ部１６から入力された参照画像フレームより動きベクトルを探索し、予測部１〜ｎ（３２ａ〜３２ｎ）に出力する。
各予測部１〜ｎ（３２ａ〜３２ｎ）は、入力された動きベクトルおよびフレームメモリ部１６より入力された参照画像フレームにより、異なるｎ個の動き補償フレーム間予測方式を用いて予測画像を生成する。この際、各予測部は、入力された参照画像フレームを処理単位領域（即ち、動き補償フレーム間予測の処理単位となる画像領域）に分割し、処理単位領域毎にフレーム間予測処理を各予測部で行う。
【００３３】
そして、各予測部１〜ｎ（３２ａ〜３２ｎ）は、フレーム間予測処理で使用した動きベクトルおよびその予測処理で生成した予測画像１〜ｎを領域予測決定部３３に出力する。
領域予測決定部３３は、予測部１〜ｎ（３２ａ〜３２ｎ）より入力された予測画像１〜ｎと入力画像フレームとから両画像間の差分を計算し、各処理単位領域毎に予測画像１〜ｎの中から誤差が最小となる最適な予測方式から得られた予測画像を領域予測画像として採用し、その処理単位領域について採用した予測画像即ち領域予測画像を構成するその動きベクトル，領域情報，予測モード情報が少なくとも含まれる予測サイド情報を予測領域統合決定部３４に出力する。なお、予測領域統合決定部３４で各処理単位領域に採用された予測画像即ち領域予測画像をまとめて予測画像フレームを生成し、出力するようにしても良い。
【００３４】
予測領域統合決定部３４は、領域予測決定部３３より出力された動きベクトル，領域情報，予測モード情報が少なくとも含まれる予測サイド情報（以下、サイド情報と略記する）及び前記領域予測画像と前記入力画像フレームより予測効率が最適になるように隣接する処理単位領域（即ち、隣接する画像領域）が統合可能であるかを判断して、隣接処理単位領域（即ち、隣接画像領域）同士の領域統合が可能な場合には、領域統合を行い、更に、かかる領域統合を行ったことを示す領域統合情報を生成し、これを前記サイド情報に付加し、サイド情報符号化部３５に出力する。また、予測領域統合決定部３４では、前記サイド情報に含まれている領域統合情報，予測モード情報及び動きベクトルにもとづいて前記領域予測画像から統合領域予測画像を生成すると共に、生成された前記統合領域予測画像及び／又は前記領域予測画像をまとめて予測画像フレームを生成し、外部に出力する。
サイド情報符号化部３５は、予測領域統合決定部３４より入力されたサイド情報（動きベクトル，領域情報，予測モード情報，領域統合情報を含む情報）を符号化し符号化サイド情報を出力する。
【００３５】
次に、本発明による動画像復号化装置（図９，参照）のこの実施形態における動き補償フレーム間予測部２３の構成および動作を説明する。
図２及び図３は、本発明による動画像復号化装置における異なる構成をなす動き補償フレーム間予測部２３（Ｉ），２３（II）それぞれの実施形態を例示するブロック図である。
図２において、３６はサイド情報復号化部、３７ａ，３７ｂ，…，３７ｎは予測部１，予測部２，…，予測部ｎであり、この予測部２３（Ｉ）は、構成要素として有する予測部１〜ｎ（３７ａ〜３７ｎ）が予測画像の生成の領域サイズが固定的でない場合にも対応可能であるものを示している。
また、図３において、３６はサイド情報復号化部、３７ａ，３７ｂ，…，３７ｎは予測部１，予測部２，…，予測部ｎ、３８は動きベクトル補間部であり、この予測部２３（II）は、構成要素として有する予測部１〜ｎ（３７ａ〜３７ｎ）が予測画像の生成の領域サイズが固定的である場合のみ対応可能であるものを示している。
【００３６】
まず、始めに、図２の実施形態に関して説明する。
動き補償フレーム間予測部２３（Ｉ）に入力された符号化サイド情報は、サイド情報復号化部３６に入力される。
サイド情報復号化部３６では、入力された符号化サイド情報を復号し、動きベクトル，予測の処理単位となる処理単位領域（即ち、画像領域）に関わる領域情報，予測モード情報，隣接する前記処理単位領域（即ち、隣接する画像領域）同士の領域統合に関わる領域統合情報を少なくとも含むサイド情報を得、予測部１〜ｎ（３７ａ〜３７ｎ）に対して、動きベクトル，領域情報，予測モード情報，領域統合情報を出力する。
また、サイド情報復号化部３６は、各処理単位領域（即ち、画像領域）の予測方式を示し、予測部１〜ｎ（３７ａ〜３７ｎ）からの出力をスイッチングするための予測モード選択信号を出力する。
サイド情報復号化部３６よりサイド情報を入力された予測部１〜ｎ（３７ａ〜３７ｎ）は、入力されたサイド情報とフレームメモリ部２４より入力された参照画像フレームより、各予測部１〜ｎ（３７ａ〜３７ｎ）にそれぞれ固有の動き補償フレーム間予測方式を用いて予測画像を生成し、出力する。
予測部１〜ｎ（３７ａ〜３７ｎ）から出力された予測画像１〜ｎは、サイド情報復号化部３６から出力される予測モード選択信号によってスイッチングされ、各処理単位領域（即ち、画像領域）に対する領域予測画像として生成され、更に、前記サイド情報に含まれている領域統合情報が、隣接する処理単位領域（即ち、隣接する画像領域）同士が領域統合されていることを示している場合には、該統合されている処理単位領域（即ち、画像領域）に対する統合領域予測画像を生成すると共に、生成された前記統合領域予測画像及び／又は前記領域予測画像をまとめて予測画像フレームとして出力される。
【００３７】
次に、図３の実施形態に関して説明する。
動き補償フレーム間予測部２３（II）に入力された符号化サイド情報は、サイド情報復号化部３６に入力される。
サイド情報復号化部３６では、入力された符号化サイド情報を復号し、動きベクトル，予測の処理単位となる処理単位領域（即ち、画像領域）に関わる領域情報，予測モード情報，隣接する前記処理単位領域（即ち、隣接する画像領域）同士の領域統合に関わる領域統合情報を少なくとも含むサイド情報を得、動きベクトル補間部３８に動きベクトル，領域情報，予測モード情報，領域統合情報を出力する。
また、サイド情報復号化部３６は、各前記処理単位領域（即ち、画像領域）の最適の予測方式を示し、予測部１〜ｎ（３７ａ〜３７ｎ）からの出力をスイッチングするための予測モード選択信号を出力する。
【００３８】
動きベクトル補間部３８は、サイド情報復号化部３６より入力された領域情報，予測モード情報，領域統合情報より、隣接する処理単位領域（即ち、画像領域）において用いられる動きベクトルを各予測モード情報に従って補間を行い補間動きベクトルを予測部１〜ｎ（３７ａ〜３７ｎ）に出力する。
予測部１〜ｎ（３７ａ〜３７ｎ）は、動きベクトル補間部３８より入力された補間動きベクトルとフレームメモリ部２４より入力された参照画像フレームより異なるｎ個の動き補償フレーム間予測方式を用いて予測画像を生成する。この際、各予測部１〜ｎ（３７ａ〜３７ｎ）は、入力された参照画像フレームを処理単位領域に分割し、フレーム間予測処理を行う。
各予測部１〜ｎ（３７ａ〜３７ｎ）から出力された予測画像１〜ｎは、サイド情報復号化部３６から出力される予測モード選択信号によってスイッチングされ、各処理単位領域（即ち、画像領域）に対する領域予測画像として生成され、更に、前記サイド情報に含まれている領域統合情報が、隣接する処理単位領域（即ち、隣接する画像領域）同士が領域統合されていることを示している場合には、該統合されている処理単位領域（即ち、画像領域）に対する統合領域予測画像を生成すると共に、生成された前記統合領域予測画像及び／又は前記領域予測画像をまとめて予測画像フレームとして出力される。
【００３９】
以上、説明したような動作を繰り返すことにより、動画像復号化装置では、符号化画像情報および符号化サイド情報を復号化し、出力画像フレームの出力を行う。
次に、各予測モード時における領域統合について説明する。
図４は、予測モードが前記処理単位領域（即ち、画像領域）となるマクロブロックの平行移動の場合の領域統合、図５は、アフィン変換の場合の領域統合、図６は、双一次変換の場合の領域統合の例を示す図で、領域統合の概念及び動きベクトルの処理を説明するためのものである。
それぞれ、縦横２マクロブロックが同一の予測モード，動きパラメータを有している場合（ケース１）、縦横３マクロブロックの場合（ケース２）、縦２マクロブロックの場合（ケース３）、横マクロブロックの場合（ケース４）を例として挙げている。
各図の各ケースにおいて、位置Ｐ（ｎ，ｍ）における動きベクトルをＶ（ｎ，ｍ）とする。
【００４０】
始めに、図４のマクロブロックの平行移動の場合の領域統合について説明する。
図４のケース１において、各マクロブロックにおける動きベクトルＶ（０，０）＝Ｖ（１，０）＝Ｖ（０，１）＝Ｖ（１，１）の関係が成り立つとき、隣接する縦横２つのマクロブロック（４個のマクロブック）が一つの領域として扱うことが可能であり、一つの動きパラメータ（動きベクトル）で代表できる。
この場合に、従来方式では、各マクロブロックにおける動きベクトルＶ（０，０），Ｖ（１，０），Ｖ（０，１），Ｖ（１，１）をそれぞれ重複して符号化・伝送する必要があったが、本発明によると、領域統合を行うことにより、１回の符号化・伝送を行うだけでよくなる。
【００４１】
この領域統合を用いる場合に、復号化装置における動きベクトル補間部３８（図３，参照）では、Ｖ（０，０）の動きベクトルからＶ（１，０），Ｖ（０，１），Ｖ（１，１）を補間して出力することになる。
ケース２，ケース３，ケース４の場合も同様に、Ｐ（０，０）の位置の動きベクトルＶ（０，０）で縦横３つのマクロブロック、縦２つのマクロブロック，横２つのマクロブロックの動きベクトルを代表することが可能となる。
【００４２】
次に、図５のアフィン変換の場合の領域統合について説明する。
アフィン変換を用いる場合、通常，各マクロブロックを２つの三角形に分割し、それぞれの三角形の頂点の位置と動きベクトルよりアフィンパラメータを求めることにより変換が行われ、予測画像が生成される。
【００４３】
ケース１の場合、Ｐ（０，０），Ｐ（０，１），Ｐ（１，０）とＰ（１，０），Ｐ（０，１），Ｐ（１，１）とＰ（１，０），Ｐ（２，０），Ｐ（１，１）とＰ（２，０），Ｐ（１，１），Ｐ（２，１）とＰ（０，１），Ｐ（１，１），Ｐ（０，２）とＰ（１，１），Ｐ（０，２），Ｐ（１，２）とＰ（１，１），Ｐ（２，１），Ｐ（１，２）とＰ（２，１），Ｐ（１，２），Ｐ（２，２）の計８つの三角形に分割され、それぞれの三角形に対応してアフィンパラメータが計算される。
これら８つの三角形のアフィンパラメータが同一であった場合には、縦横２つのマクロブロック（４個のマクロブロック）が一つの領域として扱うことが可能であり、Ｐ（０，０），Ｐ（２，０），Ｐ（０，２）とＰ（２，０），Ｐ（０，２），Ｐ（２，２）の２つの三角形としてアフィン変換を行うことが可能となる。
【００４４】
この場合、従来方式では、８つの三角形の動きベクトルＶ（０，０），Ｖ（１，０），Ｖ（２，０），Ｖ（０，１），Ｖ（１，１），Ｖ（２，１），Ｖ（０，２），Ｖ（１，２），Ｖ（２，２）の９つの動きベクトルを符号化・伝送する必要があったが、本発明では、領域統合を行うことにより、Ｖ（０，０），Ｖ（２，０），Ｖ（０，２），Ｖ（２，２）の４つを符号化・伝送するだけでよくなる。
復号化装置における動きベクトル補間部３８（図３，参照）では、Ｖ（０，０），Ｖ（２，０），Ｖ（０，２），Ｖ（２，２）の４つの動きベクトルから、アフィンパラメータを求め、アフィンパラメータと位置から、Ｖ（０，０），Ｖ（１，０），Ｖ（２，０），Ｖ（０，１），Ｖ（１，１），Ｖ（２，１），Ｖ（０，２），Ｖ（１，２），Ｖ（２，２）の９つの動きベクトルを補間して出力することになる。
【００４５】
ケース２，ケース３，ケース４の場合も同様に、Ｐ（０，０），Ｐ（３，０），Ｐ（０，３）とＰ（３，０），Ｐ（０，３），Ｐ（３，３）の２つの三角形でＶ（０，０），Ｖ（３，０），Ｖ（０，３），Ｖ（３，３）の４つの動きベクトルにより縦横３つのマクロブロック、Ｐ（０，０），Ｐ（１，０），Ｐ（０，２）とＰ（１，０），Ｐ（０，２），Ｐ（１，２）の２つの三角形でＶ（０，０），Ｖ（１，０），Ｖ（０，２），Ｖ（１，２）の４つの動きベクトルにより縦２つのマクロブロック、Ｐ（０，０），Ｐ（２，０），Ｐ（０，１）とＰ（２，０），Ｐ（０，１），Ｐ（２，１）の２つの三角形でＶ（０，０），Ｖ（２，０），Ｖ（０，１），Ｖ（２，１）の４つの動きベクトルにより横２つのマクロブロックの動きパラメータを代表することが可能となる。
【００４６】
次に、図６の双一次変換の場合の領域統合について説明する。
双一次変換を用いる場合、通常、各マクロブロックの４隅の動きベクトルを用いて変換が行われ、予測画像が生成される。
ケース１の場合、Ｖ（０，０），Ｖ（１，０），Ｖ（２，０），Ｖ（０，１），Ｖ（１，１），Ｖ（２，１），Ｖ（０，２），Ｖ（１，２），Ｖ（２，２）の９つの動きベクトルが通常用いられるが、Ｖ（０，０），Ｖ（１，１），Ｖ（２，２）とＶ（０，０），Ｖ（１，０），Ｖ（２，０）とＶ（０，１），Ｖ（１，１），Ｖ（２，１）とＶ（０，２），Ｖ（１，２），Ｖ（２，２）とＶ（０，０），Ｖ（０，１），Ｖ（０，２）とＶ（１，０），Ｖ（１，１），Ｖ（１，２）とＶ（２，０），Ｖ（２，１），Ｖ（２，２）とが線形関係にあった場合、Ｖ（０，０），Ｖ（２，０），Ｖ（０，２），Ｖ（２，２）の４つの動きベクトルから双一次変換を行うことが可能となる。
復号化装置における動きベクトル補間部３８（図３，参照）では、Ｖ（０，０），Ｖ（２，０），Ｖ（０，２），Ｖ（２，２）の４つの動きベクトルからＶ（１，０），Ｖ（０，１），Ｖ（１，１），Ｖ（２，１），Ｖ（１，２）の５つの動きベクトルを補間して出力することになる。
【００４７】
ケース２，ケース３，ケース４の場合も同様に、Ｖ（０，０），Ｖ（３，０），Ｖ（０，３），Ｖ（３，３）の４つの動くベクトルで縦横３つのマクロブロック、Ｖ（０，０），Ｖ（１，０），Ｖ（０，２），Ｖ（１，２）の４つの動くベクトルで縦２つのマクロブロック、Ｖ（０，０），Ｖ（２，０），Ｖ（０，１），Ｖ（２，１）の４つの動くベクトルで横２つのマクロブロックの動きパラメータを代表することが可能となる。
【００４８】
続いて、処理単位領域（即ち、動き補償フレーム間予測の処理単位となる画像領域）として大きさの異なる複数の処理単位を用いる場合の実施形態で、以下の例では、通常の処理領域単位とそれをさらに分割した小領域を複数の処理単位として用いる例が示される。
図１１は、この実施形態により行われる処理を説明するための概念図で、動画像符号化装置における予測部１〜ｎ（３２ａ〜３２ｎ）、領域予測決定部３３，予測領域統合決定部３４および動画像復号化装置における予測部１〜ｎ（３７ａ〜３７ｎ）において、処理単位領域の小領域分割を行う場合に関して示される同図を用いて以下にその処理について説明する。
図１１では、被写体である人物が手前に移動しており、背景の部分は、向かって右上方向に移動している場合を例に挙げている。
本来、処理単位領域とは、動画像符号化・復号化処理の簡便さなどから便宜上設定されているため、実際の被写体の形状などは考慮されていない。そのため、処理単位領域がマクロブロックなどの単位である場合、図１１（Ａ）に示されるように、処理単位領域の領域統合方式にあるように被写体と処理単位領域との境界が一致せず、被写体の形状が反映されないことがあった。
【００４９】
本発明では、動画像符号化装置における予測部１〜ｎ（３２ａ〜３２ｎ）において、このような被写体と処理単位領域との境界の不一致を軽減するため、処理単位領域を更に小領域に分割する手法を用いる。
図１１（Ｂ）に示されるように、小領域分割による予測方式によると、平行移動予測による領域（白で示された領域）、双線形（多一次）補間予測による領域（斜線で示された領域および多点で示された領域）になる。ここで、小領域に分割されることにより動きベクトルが増加していることが分かる。
本発明においては、予測部１〜ｎ（３２ａ〜３２ｎ）において、入力画像フレーム全体を互いに重複していない大きさが異なる複数の画像領域に処理単位領域（即ち、画像領域）を分割して、各処理単位領域毎に、予測画像を生成して出力し、更に、領域予測決定部３３により、異なる大きさの前記処理単位領域毎に最適な予測方式による予測画像を領域予測画像として出力し、更に、予測領域統合決定部３４により予測効率が最適となるように隣接する処理単位領域（即ち、隣接する画像領域）の領域統合を行い、前記領域予測画像から統合領域予測画像を生成すると共に、生成された前記統合領域予測画像及び／又は前記領域予測画像をまとめて予測画像フレームを生成し、外部に出力することを可能としている。即ち、動画像符号化装置における領域予測決定部３３および予測領域統合決定部３４において、領域統合すなわち同じ動きパラメータ，予測モードを持つ処理単位領域および分割された小領域同士を統合することができる。
図１１（Ｃ）にその小領域統合を用いた結果が示されるように、背景領域，境界領域，被写体領域に領域統合される。また、領域統合を行うことにより、各統合領域の動きパラメータを表現するための動きベクトルのみが必要となるため、符号化・伝送する動きベクトル数が減少することが分かる。
一方、動画像復号化装置における予測部１〜ｎ（３７ａ〜３７ｎ）では、サイド情報復号化部３６より入力されたサイド情報とフレームメモリ部２４より入力された参照画像フレームより、出力画像フレーム全体を互いに重複していない大きさが異なる複数の画像領域に処理単位領域（即ち、処理単位となる画像領域）を分割して、大きさが異なる処理単位領域に対する予測画像を生成し、更に、サ イド情報復号化部３６から出力される予測モード選択信号によってスイッチングされ、各処理単位領域（即ち、画像領域）に対する領域予測画像として生成し、更に、前記サイド情報に含まれている領域統合情報が、隣接する処理単位領域（即ち、隣接する画像領域）同士が領域統合されていることを示している場合には、該統合されている処理単位領域（即ち、画像領域）に対する統合領域予測画像を生成すると共に、生成された前記統合領域予測画像及び／又は前記領域予測画像をまとめて予測画像フレームとして出力することを可能としている。
したがって、予測部１〜ｎ（３７ａ〜３７ｎ）から各領域（背景領域，境界領域，被写体領域）に適用された予測モード，動きパラメータより動き補償フレーム間予測を用いて予測画像フレームを生成し、出力することができる。
【００５０】
【発明の効果】
請求項１に対応する効果：隣接する処理単位領域（即ち、予測の処理単位となる画像領域）において同一のサイド情報或いは予測結果、例えばその１つである予測モードや動きパラメータとして同じ値が検出された場合、これらの処理単位領域を一つの処理領域として扱うことが可能となり、該処理単位領域の動きを表現するためのサイド情報（領域情報，予測モード，動きベクトルなど）の符号量を減少させることが可能となる。更に、同一の動きをしていると思われる領域全体（即ち、処理単位領域全体）で同じ予測モードおよび／または動きパラメータを用いて動き補償フレーム間予測を行うことになるため、同一の動き領域全体（即ち、同一の動きをしていると思われる領域全体）での予測効率が向上し、最適な予測結果が得られることになる。
【００５１】
請求項２に対応する効果：請求項１の効果に加えて、領域統合処理を予測モード情報の一致で判断することに限定したことにより、同一の動きをしていると思われる領域全体で同じ予測モードを用いて動き補償フレーム間予測を行うことになるため、同一の動き領域全体での予測効率が向上し、良好な予測結果が得られることになるとともに、その処理を簡単に行うことが可能となる。
【００５２】
請求項３に対応する効果：請求項２の効果に加えて、領域統合処理の予測モードとして平行移動という具体的なモードを設定することにより同一の動きとして平行移動を行っていると思われる領域全体で同じ予測モードを用いて動き補償フレーム間予測を行うことになるため、同一の動き領域全体での予測効率が向上し、良好な予測結果が得られることになる。
【００５３】
請求項４に対応する効果：請求項２又は３の効果に加えて、さらに、領域統合処理の予測モードとして双一次変換という具体的なモードを設定することにより同一の動きとして双一次変換に合う動きを行っていると思われる領域全体で同じ予測モードを用いて動き補償フレーム間予測を行うことになるため、同一の動き領域全体での予測効率が向上し、良好な予測結果が得られることになる。
【００５４】
請求項５に対応する効果：請求項２および３の効果に加えて、領域統合処理の予測モードとしてアフィン変換という具体的なモードを設定することにより同一の動きとしてアフィン変換に合う動きを行っていると思われる領域全体で同じ予測モードを用いて動き補償フレーム間予測を行うことになるため、同一の動き領域全体での予測効率が向上し、良好な予測結果が得られることになる。
【００５５】
請求項６に対応する効果：請求項１ないし５の効果に加えて、例えば、背景と人物のように異なる動きをすることが考えられる被写体の境界に関し、より小さい処理単位領域を用いることにより、被写体の境界と処理単位領域との境界がより近くなり、境界における予測方式の使用がより適切になって予測効率が向上し、良好な画像を得るための符号化が行われることになる。
【００５６】
請求項７に対応する効果：隣接する処理単位領域において同一のサイド情報、例えばその１つである予測モードや動きパラメータを採用したことにより、これらの処理単位領域を一つの処理領域として扱うことが可能となり、領域の動きを表現するためのサイド情報（領域情報，予測モード，動きベクトルなど）の符号量を減少させ、それに伴う復号化処理を減らすことが可能となる。更に、同一の動きをしていると思われる領域全体で同じ予測モードおよび／または動きパラメータを用いて動き補償フレーム間予測を行うことになるため、同一の動き領域全体での予測効率が向上し、最適な予測結果が得られることになる。
【００５７】
請求項８に対応する効果：隣接する処理単位領域において同一のサイド情報、例えばその１つである予測モードを採用したことにより、これらの処理単位領域を一つの処理領域として扱うことが可能となり、領域の動きを表現するためのサイド情報（領域情報，予測モード，動きベクトルなど）の符号量を減少させ、それに伴い復号化処理を減らすことが可能となる。更に、同一の動きをしていると思われる領域全体で同じ予測モード及び各処理領域に補間動きパラメータを用いて動き補償フレーム間予測を行うことになるため、同一の動き領域全体での予測効率が向上し、最適な予測結果が得られることになる。
【００５８】
請求項９に対応する効果：請求項７および８の効果に加えて、領域統合処理が予測モード情報の一致で判断された場合に限定することにより、同一の動きをしていると思われる領域全体で同じ予測モードを用いて動き補償フレーム間予測を行うことになるため、同一の動き領域全体での予測効率が向上し、良好な予測結果が得られることになるとともに、その処理を簡単に行うことが可能となる。
【００５９】
請求項１０に対応する効果：請求項９の効果に加えて、領域統合処理の予測モードとして平行移動という具体的なモードが設定されたことにより、同一の動きとして平行移動を行っていると思われる領域全体で同じ予測モードを用いて動き補償フレーム間予測を行うことになるため、同一の動き領域全体での予測効率が向上し、良好な予測結果が得られることになる。
【００６０】
請求項１１に対応する効果：請求項９および１０の効果に加えて、さらに、領域統合処理の予測モードとして双一次変換という具体的なモードが設定されたことにより、同一の動きとして双一次変換に合う動きを行っていると思われる領域全体で同じ予測モードを用いて動き補償フレーム間予測を行うことになるため、同一の動き領域全体での予測効率が向上し、良好な予測結果が得られることになる。
【００６１】
請求項１２に対応する効果：請求項９および１０の効果に加えて、さらに、領域統合処理の予測モードとしてアフィン変換という具体的なモードが設定されたことにより、同一の動きとしてアフィン変換に合う動きを行っていると思われる領域全体で同じ予測モードを用いて動き補償フレーム間予測を行うことになるため、同一の動き領域全体での予測効率が向上し、良好な予測結果が得られることになる。
【００６２】
請求項１３に対応する効果：請求項７ないし１２の効果に加えて、例えば、背景と人物のように異なる動きをすることが考えられる被写体の境界に関し、より小さい処理単位領域を用いることにより、被写体の境界と処理単位領域との境界をより近くした処理単位を部分的に用いた符号化信号をこの符号化処理方式に対応した復号を行うことにより、適切な予測結果を反映した復号を行い、さらに良好な画像を得ることができる。
【図面の簡単な説明】
【図１】本発明による動画像符号化装置における動き補償フレーム間予測部１７の構成を示すブロック図である。
【図２】本発明による動画像復号化装置の動き補償フレーム間予測部の実施形態の一例を示すブロック図である。
【図３】本発明による動画像復号化装置の動き補償フレーム間予測部の実施形態の他の例を示すブロック図である。
【図４】予測モードがブロックの平行移動の場合の領域統合の概念及び動きベクトルの処理を説明する図である。
【図５】予測モードがアフィン変換の場合の領域統合の概念及び動きベクトルの処理を説明する図である。
【図６】予測モードが双一次変換の場合の領域統合の概念及び動きベクトルの処理を説明する図である。
【図７】本発明及び従来技術に共通する動画像符号化装置の基本構成の一例を示すブロック図である。
【図８】従来の動画像符号化装置（図７，参照）の動き補償フレーム間予測部の構成の一例を示すブロック図である。
【図９】本発明及び従来技術に共通する動画像復号化装置の基本構成の一例を示すブロック図である。
【図１０】従来の動画像復号化装置（図９，参照）の動き補償フレーム間予測部の構成の一例を示すブロック図である。
【図１１】本発明において、処理領域単位としてさらに小領域を付加した方式により行われる処理の実施形態を説明するための概念図である。
【符号の説明】
１１…減算部、１２…画像符号化部、１３…符号化制御部、１４，２１…画像復号化部、１５，２２…加算部、１６，２４…フレームメモリ部、１７，１７′，２３，２３′，２３（Ｉ），２３（II）…動き補償フレーム間予測部、３１，５１…動きベクトル探索部、３２ａ〜３２ｎ，３７ａ〜３７ｎ，５２ａ〜５２ｎ，５６ａ〜５６ｎ…予測部１〜ｎ、３３，５３…領域予測決定部、３４…予測領域統合決定部、３５，５４…サイド情報符号化部、３６，５５…サイド情報復号化部、３８…ベクトル補間部。
【発明の属する技術分野】
本発明は、動画像符号化装置および動画像復号化装置に関し、より詳細には、領域統合が可能な動き補償フレーム間予測方式による動画像の符号および復号を行う当該装置に関する。
【０００２】
【従来の技術】
従来では、ＩＳＤＮ（Integrated Services Digital Network）網などの高速ディジタル網において、テレビ電話やテレビ会議システムなどの動画像通信が実現されていた。近年、ＰＨＳ（Personal Handyphone System）に代表される無線伝送網の進展、および、ＰＳＴＮ（Public Switching Telephone Network）網におけるデータ変調・復調技術の進展、さらに、画像圧縮技術の進展に伴い、より低ビットレート網における動画像通信への要求が高まっている。
一般にテレビ電話やテレビ会議システムのように、動画像情報を伝送する場合においては、動画像の情報量が膨大なのに対して、伝送に用いる回線の回線速度や回線コストの点から、伝送する動画像の情報量を圧縮符号化し、情報量を少なくして伝送することが必要となってくる。
【０００３】
動画像情報を圧縮する符号化方式としては、Ｈ．２６１、ＭＰＥＧ−１（ＭＰＥＧ：Moving Picture Coding Expert Group）、ＭＰＥＧ−２などがすでに国際標準化されている。さらに、６４ｋｂｐｓ以下の超低ビットレートの符号化方式としてＭＰＥＧ−４の標準化活動が進められている。
現在、標準化されている動画像映像符号化方式では、フレーム間予測符号化およびフレーム内符号化を組み合わせて行うハイブリッド映像符号化方式を採用している。
フレーム間予測符号化は、動画像を符号化する際に参照画像から対象とする現画像を予測することにより予測画像を生成し、現画像との差分をとり、それを符号化することで符号化量を減少させ伝送することで伝送路の効率的な利用を図るものである。
【０００４】
図７は、従来の動画像符号化装置全体の基本構成を例示するブロック図である。
図７にもとづき、従来の動画像符号化装置の全体の動作を以下に説明する。
ここで、動き補償フレーム間予測符号化を行っている場合の定常状態としてフレームメモリ部１６に、予測画像を生成する際に使用される参照画像が記憶されているものとする。
動画像符号化装置に入力された入力画像フレームは、装置内の減算部１１および動き補償フレーム間予測部１７′に入力される。動き補償フレーム間予測部１７′では、フレームメモリ部１６に記憶された参照画像と入力画像フレームから動き予測を行い、減算部１１に対して予測画像フレームを出力する。
【０００５】
また、動き補償フレーム間予測部１７′では、予測の際に得られた動きベクトルなどの予測サイド情報（以下、サイド情報と略記する）を符号化し、符号化サイド情報を出力し、復号化に供する。
減算部１１は、入力画像フレームから動き補償フレーム間予測部１７′より入力した予測画像フレームを減算し、減算した結果（予測誤差情報）を画像符号化部１２に出力する。
画像符号化部１２は、入力された予測誤差情報をＤＣＴ（Discrete Cosine Transform）変換などの空間変換および量子化を行い、符号化画像情報として出力し、伝送後の復号に供する。
【０００６】
画像符号化部１２から出力された符号化画像情報は、同時に、画像復号化部１４によりローカルに復号され、加算部１５に出力される。
加算部１５では、動き補償フレーム間予測部１７′から出力された予測画像フレームと画像復号化部１４より出力された予測誤差情報を加算し、新たな参照画像フレームを生成し、フレームメモリ部１６へ出力する。
フレームメモリ部１６は、加算部１５より出力された新たな参照画像フレームを記憶し、次の入力画像フレームの符号化の際に、前記動き補償フレーム間予測部１７′に出力する。
以上、説明したような動作を繰り返すことにより、動画像符号化装置では、連続した符号化画像情報（予測誤差情報）および符号化サイド情報の出力を行う。
【０００７】
次に、上述の動画像符号化装置における動き補償フレーム間予測部１７′の動作および各部で用いられる方式について説明する。
図８は、図７に示す従来の動画像符号化装置における動き補償フレーム間予測部１７′の構成の一例を示すブロック図である。
図８の動き補償フレーム間予測部１７′において、５１は動きベクトル探索部、５２ａ，５２ｂ，…，５２ｎは、予測部１，予測部２，…，予測部ｎ、５３は領域予測決定部、５４はサイド情報符号化部である。
【０００８】
動きベクトル探索部５１は、入力された入力画像フレームとフレームメモリ部１６から入力された参照画像フレームより動きベクトルを探索し、予測部１〜ｎ（５２ａ〜５２ｎ）に出力する。
各予測部１〜ｎ（５２ａ〜５２ｎ）は、入力された動きベクトルおよびフレームメモリ部１６より入力された参照画像フレームより異なるｎ個の動き補償フレーム間予測方式を用いて予測画像を生成する。
この際、各予測部は、入力された参照画像フレームをマクロブロックと呼ばれる単位領域に分割し、フレーム間予測処理を行う。このそれぞれの領域を、以後、「処理単位領域」と呼ぶ。
そして、各予測部１〜ｎ（５２ａ〜５２ｎ）は、生成した予測画像１〜ｎおよびフレーム間予測処理で使用した動きベクトルを領域予測決定部５３に出力する。
【０００９】
領域予測決定部５３は、予測部１〜ｎ（５２ａ〜５２ｎ）より入力された予測画像１〜ｎと入力画像フレームから差分を計算し、各処理単位領域毎の誤差を比較して誤差が最小となる予測画像を採用し、採用した処理単位領域の予測画像を構成する要素としての動きベクトル，領域情報，予測モード情報といったサイド情報をサイド情報符号化部５４に出力し、また、採用された各処理単位領域をまとめて予測画像フレームとして出力する。
サイド情報符号化部５４は、領域予測決定部５３より入力されたサイド情報（動きベクトル，領域情報，予測モード情報）を符号化し符号化サイド情報を出力する。
【００１０】
図９は、従来の動画像復号化装置全体の基本構成を例示するブロック図である。
次に、図９にもとづき、従来の動画像復号化装置の全体の動作を説明する。
ここで、動き補償フレーム間予測復号化を行っている場合の定常状態としてフレームメモリ部２４に、予測画像フレームを生成する際に使用される参照画像フレームが記憶されているものとする。
【００１１】
動画像復号化装置に入力された符号化画像情報は、装置内の画像復号化部２１に入力される。前記画像復号化部２１では、画像符号化装置（図７，参照）における画像復号化部１４と同一の手段をなすもので符号化画像情報を復号し、得られた誤差画像を加算部２２に出力する。
一方、動画像復号化装置に入力された符号化サイド情報は、動き補償フレーム間予測部２３′に入力される。
動き補償フレーム間予測部２３′は、入力された符号化サイド情報を復号化し動きベクトルなどのサイド情報を得る。さらに得たサイド情報とフレームメモリ部２４から入力される参照画像フレームとにより予測画像フレームを生成し、加算部２２に出力する。
加算部２２は、画像復号化部２１より出力された予測誤差画像と動き補償フレーム間予測部２３′より出力された予測画像フレームの加算を行い、出力画像フレームを得る。
この出力画像フレームは、動画像復号化装置からの出力画像フレームとして出力されると同時に、フレームメモリ部２４に対しても出力される。
フレームメモリ部２４は、加算部２２より出力された出力画像フレームを新たな参照画像フレームとしてこれを記憶し、次の符号化画像情報の復号化の際に動き補償フレーム間予測部２３′に出力される。
【００１２】
以上に説明したような動作が繰り返えされるが、ここで、動画像復号化装置における動き補償フレーム間予測部２３′の構成および動作をより詳細に説明する。
図１０は、図９に示す従来の動画像復号化装置における動き補償フレーム間予測部２３′の構成の一例を示すブロック図である。
図１０の動き補償フレーム間予測部２３′において、５５はサイド情報復号化部、５６ａ，５６ｂ，…，５６ｎは予測部１，予測部２，…，予測部ｎである。
【００１３】
動き補償フレーム間予測部２３′に入力された符号化サイド情報は、サイド情報復号化部５５に入力される。
サイド情報復号化部５５では、入力された符号化サイド情報を復号し、動きベクトル，予測モード情報を得、予測部１〜ｎ（５６ａ〜５６ｎ）に動きベクトルを出力する。
また、サイド情報復号化部５５は、予測部１〜ｎ（５６ａ〜５６ｎ）からの出力をスイッチングするための予測モード選択信号を出力する。
【００１４】
サイド情報復号化部５５より動きベクトルを入力された予測部１〜ｎ（５６ａ〜５６ｎ）は、入力された動きベクトルとフレームメモリ部２４より入力された参照画像フレームより、各予測部に固有の動き補償フレーム間予測方式を用いて各処理単位領域毎に予測画像を生成し、出力する。
予測部（５６ａ〜５６ｎ）から出力された予測画像１〜ｎは、サイド情報復号化部５５から出力される予測モード選択信号によってスイッチングされ、予測画像フレームとして出力される。
以上に説明したような動作が繰り返えされることにより、動画像復号化装置では、符号化画像情報および符号化サイド情報を復号化し、出力画像フレームの出力を行うことになる。
【００１５】
【発明が解決しようとする課題】
従来では、マクロブロックと呼ばれる処理単位領域毎に動き補償フレーム間予測処理が行われ、領域情報，予測モード，動きベクトル，予測誤差情報などが符号化されていた。
そのため、隣接する処理単位領域（即ち、動き補償フレーム間予測の処理単位となる画像領域）で同一な予測モード，動きベクトルが検出された場合において、サイド情報が重複して符号化・伝送されることになり、効率的な符号化ができないという問題があった。
また、処理単位領域毎に予測を行っているため、本来であれば同一の動きをしている領域においても異なる予測モードや動きベクトルが選択されてしまうことがあり、予測効率の悪化や、同一の動き領域全体の予測結果の悪化が起こるという問題点があった。
更に、動いている領域の輪郭と処理単位領域との境界が一致しておらず、領域間の境界部分での予測効率の悪化が起こるという問題点があった。
【００１６】
本発明は、こうした従来技術における問題点に鑑みてなされたもので、処理単位領域毎に行われる動き補償フレーム間予測及びその符号化処理において、より効率的な符号化を行い、また、処理単位領域のとり方によって起きる予測のずれを発生させないようにした動き補償フレーム間予測方式を用いた動画像符号化装置及び該動画像符号化装置による符号化信号を復号する動画像復号化装置を提供することをその解決すべき課題とする。
【００１７】
【課題を解決するための手段】
請求項１の発明は、動き補償フレーム間予測を行い、該予測により得た予測画像フレームと予測対象としての入力画像フレームとの間の予測誤差情報及び前記予測に用いた予測サイド情報を符号化する動画像符号化装置において、前記動き補償フレーム間予測の処理単位となる画像領域毎に異なる予測方式を用いて、前記画像領域に対する複数の領域予測画像を生成し出力する予測部と、該予測部からの前記複数の領域予測画像より前記画像領域に対して予測誤差が最小となる予測方式を決定し、該決定に関わる領域情報，予測モード情報及び動きベクトルを少なくとも含む前記予測サイド情報を出力する領域予測決定部と、該領域予測決定部からの前記予測サイド情報を参照して、隣接する前記画像領域の少なくとも予測モード及び動きベクトルが等しい場合に隣接する前記画像領域同士の領域統合を行うことを決定して、該決定に従い領域統合をしたことを示す領域統合情報を付加し、かつ、領域統合した前記画像領域の動きベクトルのうちから代表する動きベクトルのみを残した前記予測サイド情報を出力するとともに、該予測サイド情報に含まれる領域統合情報，予測モード情報及び動きベクトルに従って前記統合された画像領域に対する統合領域予測画像を生成し、生成された前記統合領域予測画像と、領域統合を行わなかった画像領域に対する前記領域予測画像とを組み合わせて前記予測画像フレームとして出力する予測領域統合決定部とを備えるようにしたものである。
【００１８】
請求項２の発明は、請求項１の発明において、前記予測領域統合決定部は、前記領域予測決定部から出力される前記予測モード情報が一致する場合に、隣接する前記画像領域同士の領域統合を行うようにしたものである。
【００１９】
請求項３の発明は、請求項２の発明において、前記一致する予測モード情報として平行移動を設定するようにしたものである。
【００２０】
請求項４の発明は、請求項２又は３の発明において、前記一致する予測モード情報として双一次変換を設定するようにしたものである。
【００２１】
請求項５の発明は、請求項２又は３の発明において、前記一致する予測モード情報としてアフィン変換を設定するようにしたものである。
【００２２】
請求項６の発明は、請求項１ないし５いずれかの発明において、前記処理単位となる画像領域として領域単位の大きさを異にする複数の画像領域を使用し、前記入力画像フレーム全体を重複しない前記大きさを異にする複数の画像領域に分割して、前記予測部では前記大きさを異にする画像領域に対する領域予測画像を生成して出力し、前記予測領域統合決定部では隣接する大きさを異にする前記画像領域の少なくとも予測モード及び動きベクトルが等しい場合に隣接する大きさを異にする前記画像領域同士の領域統合を行うようにしたものである。
【００２３】
請求項７の発明は、動き補償フレーム間予測方式による符号化画像情報及び符号化予測サイド情報を復号化して出力画像フレームを生成する動画像復号化装置において、符号化予測サイド情報を復号化し、予測の処理単位となる画像領域に関わる領域情報，予測モード情報，動きベクトル及び隣接する前記画像領域同士の領域統合に関わる領域統合情報を少なくとも含む予測サイド情報を出力するとともに、該画像領域の予測方式を示す予測モード選択信号を出力する予測サイド情報復号化部と、前記画像領域に対して複数の異なる予測方式のうちから、前記予測モード選択信号より指示された予測方式を用いて、前記予測サイド情報に基づいて、前記領域統合情報で領域統合されていない前記画像領域に対しては領域予測画像を生成し、前記領域統合情報が示す領域統合された隣接する前記画像領域同士に対しては領域統合された前記画像領域に関する統合領域予測画像を生成する予測部とを備えるようにしたものである。
【００２４】
請求項８の発明は、動き補償フレーム間予測方式による符号化画像情報及び符号化予測サイド情報を復号化して出力画像フレームを生成する動画像復号化装置において、符号化予測サイド情報を復号化し、予測の処理単位となる画像領域に関わる領域情報，予測モード情報，動きベクトル及び隣接する前記画像領域同士の領域統合に関わる領域統合情報を少なくとも含む予測サイド情報を出力するとともに、該画像領域の予測方式を示す予測モード選択信号を出力する予測サイド情報復号化部と、復号化された前記予測サイド情報より動きベクトルを補間して出力する動きベクトル補間部と、前記画像領域に対して複数の異なる予測方式のうちから、前記予測モード選択信号より指示された予測方式を用いて、前記予測サイド情報と前記動きベクトル補間部からの補間された動きベクトルとに基づいて、前記領域統合情報で領域統合されていない前記画像領域に対しては領域予測画像を生成し、前記領域統合情報が示す領域統合された隣接する前記画像領域同士に対しては領域統合された前記画像領域に関する統合領域予測画像を生成する予測部とを備えるようにしたものである。
【００２５】
請求項９の発明は、請求項７又は８の発明において、前記領域統合情報には隣接する前記画像領域同士の予測モード情報が一致することを表わすモード一致情報を含み、前記モード一致情報に従って前記統合された画像領域に対して単一の予測方式を用いて統合領域予測画像を生成するものである。
【００２６】
請求項１０の発明は、請求項９の発明において、前記一致する予測モード情報として平行移動が設定されているものである。
【００２７】
請求項１１の発明は、請求項９又は１０の発明において、前記一致する予測モード情報としてアフィン変換が設定されているものである。
【００２８】
請求項１２の発明は、請求項９又は１０の発明において、前記一致する予測モード情報として双一次変換が設定されているものである。
【００２９】
請求項１３の発明は、請求項７ないし１２いずれかの発明において、前記処理単位となる画像領域として領域単位の大きさを異にする複数の画像領域を使用し、前記出力画像フレーム全体を重複しない前記大きさを異にする複数の画像領域に分割して、前記予測部では前記大きさを異にする画像領域に対する領域予測画像を生成して出力するようにしたものである。
【００３０】
そして、上記のように構成される領域統合が可能な動き補償フレーム間予測方式を用いた動画像符号化・復号化装置によると、隣接する処理単位領域（即ち、動き補償フレーム間予測の処理単位となる画像領域）において同一の予測モード，動きパラメータ（即ち、動きベクトル）が検出された場合、隣接するこれらの処理単位領域を一つの処理領域として扱うことが可能となり、領域の動きを表現するためのサイド情報（領域情報，予測モード，動きベクトルなど）の符号量を減少させることが可能となる。
また、同一の動きをしていると思われる領域全体で同じ予測モードを用いて動き補償フレーム間予測を行うことになるため、同一の動き領域全体での予測効率が向上し、最適な予測結果が得られることになる。
これらの作用によって、より効率的な動き補償フレーム間予測が可能となり、より効率的な動画像の符号化・復号化が可能となる。その結果、従来より低ビットレートな回線・伝送路を用いての動画像通信が可能となる。
【００３１】
【発明の実施の形態】
本発明の実施形態の一例を説明するが、この実施形態における動画像符号化装置および動画像復号化装置の全体の構成は、従来技術を例示するものとして示した図７及び図９の基本構成と変わるところがなく、同図を本発明の実施形態においてもその基本構成の一例として実施し得る。
ここでは、動画像符号化装置および動画像復号化装置の構成要素として本発明による当該装置の構成を特徴付ける領域統合が可能な動き補償フレーム間予測部の動作および予測部の各部で用いられる方式について以下に詳しく説明する。
図１は、本発明による動画像符号化装置における動き補償フレーム間予測部１７の構成を示すブロック図である。
図１において、３１は動きベクトル探索部、３２ａ，３２ｂ，…，３２ｎは予測部１，予測部２，…，予測部ｎ、３３は領域予測決定部、３４は予測領域統合決定部、３５はサイド情報符号化部である。
【００３２】
動きベクトル探索部３１は、入力された入力画像フレームとフレームメモリ部１６から入力された参照画像フレームより動きベクトルを探索し、予測部１〜ｎ（３２ａ〜３２ｎ）に出力する。
各予測部１〜ｎ（３２ａ〜３２ｎ）は、入力された動きベクトルおよびフレームメモリ部１６より入力された参照画像フレームにより、異なるｎ個の動き補償フレーム間予測方式を用いて予測画像を生成する。この際、各予測部は、入力された参照画像フレームを処理単位領域（即ち、動き補償フレーム間予測の処理単位となる画像領域）に分割し、処理単位領域毎にフレーム間予測処理を各予測部で行う。
【００３３】
そして、各予測部１〜ｎ（３２ａ〜３２ｎ）は、フレーム間予測処理で使用した動きベクトルおよびその予測処理で生成した予測画像１〜ｎを領域予測決定部３３に出力する。
領域予測決定部３３は、予測部１〜ｎ（３２ａ〜３２ｎ）より入力された予測画像１〜ｎと入力画像フレームとから両画像間の差分を計算し、各処理単位領域毎に予測画像１〜ｎの中から誤差が最小となる最適な予測方式から得られた予測画像を領域予測画像として採用し、その処理単位領域について採用した予測画像即ち領域予測画像を構成するその動きベクトル，領域情報，予測モード情報が少なくとも含まれる予測サイド情報を予測領域統合決定部３４に出力する。なお、予測領域統合決定部３４で各処理単位領域に採用された予測画像即ち領域予測画像をまとめて予測画像フレームを生成し、出力するようにしても良い。
【００３４】
予測領域統合決定部３４は、領域予測決定部３３より出力された動きベクトル，領域情報，予測モード情報が少なくとも含まれる予測サイド情報（以下、サイド情報と略記する）及び前記領域予測画像と前記入力画像フレームより予測効率が最適になるように隣接する処理単位領域（即ち、隣接する画像領域）が統合可能であるかを判断して、隣接処理単位領域（即ち、隣接画像領域）同士の領域統合が可能な場合には、領域統合を行い、更に、かかる領域統合を行ったことを示す領域統合情報を生成し、これを前記サイド情報に付加し、サイド情報符号化部３５に出力する。また、予測領域統合決定部３４では、前記サイド情報に含まれている領域統合情報，予測モード情報及び動きベクトルにもとづいて前記領域予測画像から統合領域予測画像を生成すると共に、生成された前記統合領域予測画像及び／又は前記領域予測画像をまとめて予測画像フレームを生成し、外部に出力する。
サイド情報符号化部３５は、予測領域統合決定部３４より入力されたサイド情報（動きベクトル，領域情報，予測モード情報，領域統合情報を含む情報）を符号化し符号化サイド情報を出力する。
【００３５】
次に、本発明による動画像復号化装置（図９，参照）のこの実施形態における動き補償フレーム間予測部２３の構成および動作を説明する。
図２及び図３は、本発明による動画像復号化装置における異なる構成をなす動き補償フレーム間予測部２３（Ｉ），２３（II）それぞれの実施形態を例示するブロック図である。
図２において、３６はサイド情報復号化部、３７ａ，３７ｂ，…，３７ｎは予測部１，予測部２，…，予測部ｎであり、この予測部２３（Ｉ）は、構成要素として有する予測部１〜ｎ（３７ａ〜３７ｎ）が予測画像の生成の領域サイズが固定的でない場合にも対応可能であるものを示している。
また、図３において、３６はサイド情報復号化部、３７ａ，３７ｂ，…，３７ｎは予測部１，予測部２，…，予測部ｎ、３８は動きベクトル補間部であり、この予測部２３（II）は、構成要素として有する予測部１〜ｎ（３７ａ〜３７ｎ）が予測画像の生成の領域サイズが固定的である場合のみ対応可能であるものを示している。
【００３６】
まず、始めに、図２の実施形態に関して説明する。
動き補償フレーム間予測部２３（Ｉ）に入力された符号化サイド情報は、サイド情報復号化部３６に入力される。
サイド情報復号化部３６では、入力された符号化サイド情報を復号し、動きベクトル，予測の処理単位となる処理単位領域（即ち、画像領域）に関わる領域情報，予測モード情報，隣接する前記処理単位領域（即ち、隣接する画像領域）同士の領域統合に関わる領域統合情報を少なくとも含むサイド情報を得、予測部１〜ｎ（３７ａ〜３７ｎ）に対して、動きベクトル，領域情報，予測モード情報，領域統合情報を出力する。
また、サイド情報復号化部３６は、各処理単位領域（即ち、画像領域）の予測方式を示し、予測部１〜ｎ（３７ａ〜３７ｎ）からの出力をスイッチングするための予測モード選択信号を出力する。
サイド情報復号化部３６よりサイド情報を入力された予測部１〜ｎ（３７ａ〜３７ｎ）は、入力されたサイド情報とフレームメモリ部２４より入力された参照画像フレームより、各予測部１〜ｎ（３７ａ〜３７ｎ）にそれぞれ固有の動き補償フレーム間予測方式を用いて予測画像を生成し、出力する。
予測部１〜ｎ（３７ａ〜３７ｎ）から出力された予測画像１〜ｎは、サイド情報復号化部３６から出力される予測モード選択信号によってスイッチングされ、各処理単位領域（即ち、画像領域）に対する領域予測画像として生成され、更に、前記サイド情報に含まれている領域統合情報が、隣接する処理単位領域（即ち、隣接する画像領域）同士が領域統合されていることを示している場合には、該統合されている処理単位領域（即ち、画像領域）に対する統合領域予測画像を生成すると共に、生成された前記統合領域予測画像及び／又は前記領域予測画像をまとめて予測画像フレームとして出力される。
【００３７】
次に、図３の実施形態に関して説明する。
動き補償フレーム間予測部２３（II）に入力された符号化サイド情報は、サイド情報復号化部３６に入力される。
サイド情報復号化部３６では、入力された符号化サイド情報を復号し、動きベクトル，予測の処理単位となる処理単位領域（即ち、画像領域）に関わる領域情報，予測モード情報，隣接する前記処理単位領域（即ち、隣接する画像領域）同士の領域統合に関わる領域統合情報を少なくとも含むサイド情報を得、動きベクトル補間部３８に動きベクトル，領域情報，予測モード情報，領域統合情報を出力する。
また、サイド情報復号化部３６は、各前記処理単位領域（即ち、画像領域）の最適の予測方式を示し、予測部１〜ｎ（３７ａ〜３７ｎ）からの出力をスイッチングするための予測モード選択信号を出力する。
【００３８】
動きベクトル補間部３８は、サイド情報復号化部３６より入力された領域情報，予測モード情報，領域統合情報より、隣接する処理単位領域（即ち、画像領域）において用いられる動きベクトルを各予測モード情報に従って補間を行い補間動きベクトルを予測部１〜ｎ（３７ａ〜３７ｎ）に出力する。
予測部１〜ｎ（３７ａ〜３７ｎ）は、動きベクトル補間部３８より入力された補間動きベクトルとフレームメモリ部２４より入力された参照画像フレームより異なるｎ個の動き補償フレーム間予測方式を用いて予測画像を生成する。この際、各予測部１〜ｎ（３７ａ〜３７ｎ）は、入力された参照画像フレームを処理単位領域に分割し、フレーム間予測処理を行う。
各予測部１〜ｎ（３７ａ〜３７ｎ）から出力された予測画像１〜ｎは、サイド情報復号化部３６から出力される予測モード選択信号によってスイッチングされ、各処理単位領域（即ち、画像領域）に対する領域予測画像として生成され、更に、前記サイド情報に含まれている領域統合情報が、隣接する処理単位領域（即ち、隣接する画像領域）同士が領域統合されていることを示している場合には、該統合されている処理単位領域（即ち、画像領域）に対する統合領域予測画像を生成すると共に、生成された前記統合領域予測画像及び／又は前記領域予測画像をまとめて予測画像フレームとして出力される。
【００３９】
以上、説明したような動作を繰り返すことにより、動画像復号化装置では、符号化画像情報および符号化サイド情報を復号化し、出力画像フレームの出力を行う。
次に、各予測モード時における領域統合について説明する。
図４は、予測モードが前記処理単位領域（即ち、画像領域）となるマクロブロックの平行移動の場合の領域統合、図５は、アフィン変換の場合の領域統合、図６は、双一次変換の場合の領域統合の例を示す図で、領域統合の概念及び動きベクトルの処理を説明するためのものである。
それぞれ、縦横２マクロブロックが同一の予測モード，動きパラメータを有している場合（ケース１）、縦横３マクロブロックの場合（ケース２）、縦２マクロブロックの場合（ケース３）、横マクロブロックの場合（ケース４）を例として挙げている。
各図の各ケースにおいて、位置Ｐ（ｎ，ｍ）における動きベクトルをＶ（ｎ，ｍ）とする。
【００４０】
始めに、図４のマクロブロックの平行移動の場合の領域統合について説明する。
図４のケース１において、各マクロブロックにおける動きベクトルＶ（０，０）＝Ｖ（１，０）＝Ｖ（０，１）＝Ｖ（１，１）の関係が成り立つとき、隣接する縦横２つのマクロブロック（４個のマクロブック）が一つの領域として扱うことが可能であり、一つの動きパラメータ（動きベクトル）で代表できる。
この場合に、従来方式では、各マクロブロックにおける動きベクトルＶ（０，０），Ｖ（１，０），Ｖ（０，１），Ｖ（１，１）をそれぞれ重複して符号化・伝送する必要があったが、本発明によると、領域統合を行うことにより、１回の符号化・伝送を行うだけでよくなる。
【００４１】
この領域統合を用いる場合に、復号化装置における動きベクトル補間部３８（図３，参照）では、Ｖ（０，０）の動きベクトルからＶ（１，０），Ｖ（０，１），Ｖ（１，１）を補間して出力することになる。
ケース２，ケース３，ケース４の場合も同様に、Ｐ（０，０）の位置の動きベクトルＶ（０，０）で縦横３つのマクロブロック、縦２つのマクロブロック，横２つのマクロブロックの動きベクトルを代表することが可能となる。
【００４２】
次に、図５のアフィン変換の場合の領域統合について説明する。
アフィン変換を用いる場合、通常，各マクロブロックを２つの三角形に分割し、それぞれの三角形の頂点の位置と動きベクトルよりアフィンパラメータを求めることにより変換が行われ、予測画像が生成される。
【００４３】
ケース１の場合、Ｐ（０，０），Ｐ（０，１），Ｐ（１，０）とＰ（１，０），Ｐ（０，１），Ｐ（１，１）とＰ（１，０），Ｐ（２，０），Ｐ（１，１）とＰ（２，０），Ｐ（１，１），Ｐ（２，１）とＰ（０，１），Ｐ（１，１），Ｐ（０，２）とＰ（１，１），Ｐ（０，２），Ｐ（１，２）とＰ（１，１），Ｐ（２，１），Ｐ（１，２）とＰ（２，１），Ｐ（１，２），Ｐ（２，２）の計８つの三角形に分割され、それぞれの三角形に対応してアフィンパラメータが計算される。
これら８つの三角形のアフィンパラメータが同一であった場合には、縦横２つのマクロブロック（４個のマクロブロック）が一つの領域として扱うことが可能であり、Ｐ（０，０），Ｐ（２，０），Ｐ（０，２）とＰ（２，０），Ｐ（０，２），Ｐ（２，２）の２つの三角形としてアフィン変換を行うことが可能となる。
【００４４】
この場合、従来方式では、８つの三角形の動きベクトルＶ（０，０），Ｖ（１，０），Ｖ（２，０），Ｖ（０，１），Ｖ（１，１），Ｖ（２，１），Ｖ（０，２），Ｖ（１，２），Ｖ（２，２）の９つの動きベクトルを符号化・伝送する必要があったが、本発明では、領域統合を行うことにより、Ｖ（０，０），Ｖ（２，０），Ｖ（０，２），Ｖ（２，２）の４つを符号化・伝送するだけでよくなる。
復号化装置における動きベクトル補間部３８（図３，参照）では、Ｖ（０，０），Ｖ（２，０），Ｖ（０，２），Ｖ（２，２）の４つの動きベクトルから、アフィンパラメータを求め、アフィンパラメータと位置から、Ｖ（０，０），Ｖ（１，０），Ｖ（２，０），Ｖ（０，１），Ｖ（１，１），Ｖ（２，１），Ｖ（０，２），Ｖ（１，２），Ｖ（２，２）の９つの動きベクトルを補間して出力することになる。
【００４５】
ケース２，ケース３，ケース４の場合も同様に、Ｐ（０，０），Ｐ（３，０），Ｐ（０，３）とＰ（３，０），Ｐ（０，３），Ｐ（３，３）の２つの三角形でＶ（０，０），Ｖ（３，０），Ｖ（０，３），Ｖ（３，３）の４つの動きベクトルにより縦横３つのマクロブロック、Ｐ（０，０），Ｐ（１，０），Ｐ（０，２）とＰ（１，０），Ｐ（０，２），Ｐ（１，２）の２つの三角形でＶ（０，０），Ｖ（１，０），Ｖ（０，２），Ｖ（１，２）の４つの動きベクトルにより縦２つのマクロブロック、Ｐ（０，０），Ｐ（２，０），Ｐ（０，１）とＰ（２，０），Ｐ（０，１），Ｐ（２，１）の２つの三角形でＶ（０，０），Ｖ（２，０），Ｖ（０，１），Ｖ（２，１）の４つの動きベクトルにより横２つのマクロブロックの動きパラメータを代表することが可能となる。
【００４６】
次に、図６の双一次変換の場合の領域統合について説明する。
双一次変換を用いる場合、通常、各マクロブロックの４隅の動きベクトルを用いて変換が行われ、予測画像が生成される。
ケース１の場合、Ｖ（０，０），Ｖ（１，０），Ｖ（２，０），Ｖ（０，１），Ｖ（１，１），Ｖ（２，１），Ｖ（０，２），Ｖ（１，２），Ｖ（２，２）の９つの動きベクトルが通常用いられるが、Ｖ（０，０），Ｖ（１，１），Ｖ（２，２）とＶ（０，０），Ｖ（１，０），Ｖ（２，０）とＶ（０，１），Ｖ（１，１），Ｖ（２，１）とＶ（０，２），Ｖ（１，２），Ｖ（２，２）とＶ（０，０），Ｖ（０，１），Ｖ（０，２）とＶ（１，０），Ｖ（１，１），Ｖ（１，２）とＶ（２，０），Ｖ（２，１），Ｖ（２，２）とが線形関係にあった場合、Ｖ（０，０），Ｖ（２，０），Ｖ（０，２），Ｖ（２，２）の４つの動きベクトルから双一次変換を行うことが可能となる。
復号化装置における動きベクトル補間部３８（図３，参照）では、Ｖ（０，０），Ｖ（２，０），Ｖ（０，２），Ｖ（２，２）の４つの動きベクトルからＶ（１，０），Ｖ（０，１），Ｖ（１，１），Ｖ（２，１），Ｖ（１，２）の５つの動きベクトルを補間して出力することになる。
【００４７】
ケース２，ケース３，ケース４の場合も同様に、Ｖ（０，０），Ｖ（３，０），Ｖ（０，３），Ｖ（３，３）の４つの動くベクトルで縦横３つのマクロブロック、Ｖ（０，０），Ｖ（１，０），Ｖ（０，２），Ｖ（１，２）の４つの動くベクトルで縦２つのマクロブロック、Ｖ（０，０），Ｖ（２，０），Ｖ（０，１），Ｖ（２，１）の４つの動くベクトルで横２つのマクロブロックの動きパラメータを代表することが可能となる。
【００４８】
続いて、処理単位領域（即ち、動き補償フレーム間予測の処理単位となる画像領域）として大きさの異なる複数の処理単位を用いる場合の実施形態で、以下の例では、通常の処理領域単位とそれをさらに分割した小領域を複数の処理単位として用いる例が示される。
図１１は、この実施形態により行われる処理を説明するための概念図で、動画像符号化装置における予測部１〜ｎ（３２ａ〜３２ｎ）、領域予測決定部３３，予測領域統合決定部３４および動画像復号化装置における予測部１〜ｎ（３７ａ〜３７ｎ）において、処理単位領域の小領域分割を行う場合に関して示される同図を用いて以下にその処理について説明する。
図１１では、被写体である人物が手前に移動しており、背景の部分は、向かって右上方向に移動している場合を例に挙げている。
本来、処理単位領域とは、動画像符号化・復号化処理の簡便さなどから便宜上設定されているため、実際の被写体の形状などは考慮されていない。そのため、処理単位領域がマクロブロックなどの単位である場合、図１１（Ａ）に示されるように、処理単位領域の領域統合方式にあるように被写体と処理単位領域との境界が一致せず、被写体の形状が反映されないことがあった。
【００４９】
本発明では、動画像符号化装置における予測部１〜ｎ（３２ａ〜３２ｎ）において、このような被写体と処理単位領域との境界の不一致を軽減するため、処理単位領域を更に小領域に分割する手法を用いる。
図１１（Ｂ）に示されるように、小領域分割による予測方式によると、平行移動予測による領域（白で示された領域）、双線形（多一次）補間予測による領域（斜線で示された領域および多点で示された領域）になる。ここで、小領域に分割されることにより動きベクトルが増加していることが分かる。
本発明においては、予測部１〜ｎ（３２ａ〜３２ｎ）において、入力画像フレーム全体を互いに重複していない大きさが異なる複数の画像領域に処理単位領域（即ち、画像領域）を分割して、各処理単位領域毎に、予測画像を生成して出力し、更に、領域予測決定部３３により、異なる大きさの前記処理単位領域毎に最適な予測方式による予測画像を領域予測画像として出力し、更に、予測領域統合決定部３４により予測効率が最適となるように隣接する処理単位領域（即ち、隣接する画像領域）の領域統合を行い、前記領域予測画像から統合領域予測画像を生成すると共に、生成された前記統合領域予測画像及び／又は前記領域予測画像をまとめて予測画像フレームを生成し、外部に出力することを可能としている。即ち、動画像符号化装置における領域予測決定部３３および予測領域統合決定部３４において、領域統合すなわち同じ動きパラメータ，予測モードを持つ処理単位領域および分割された小領域同士を統合することができる。
図１１（Ｃ）にその小領域統合を用いた結果が示されるように、背景領域，境界領域，被写体領域に領域統合される。また、領域統合を行うことにより、各統合領域の動きパラメータを表現するための動きベクトルのみが必要となるため、符号化・伝送する動きベクトル数が減少することが分かる。
一方、動画像復号化装置における予測部１〜ｎ（３７ａ〜３７ｎ）では、サイド情報復号化部３６より入力されたサイド情報とフレームメモリ部２４より入力された参照画像フレームより、出力画像フレーム全体を互いに重複していない大きさが異なる複数の画像領域に処理単位領域（即ち、処理単位となる画像領域）を分割して、大きさが異なる処理単位領域に対する予測画像を生成し、更に、サ イド情報復号化部３６から出力される予測モード選択信号によってスイッチングされ、各処理単位領域（即ち、画像領域）に対する領域予測画像として生成し、更に、前記サイド情報に含まれている領域統合情報が、隣接する処理単位領域（即ち、隣接する画像領域）同士が領域統合されていることを示している場合には、該統合されている処理単位領域（即ち、画像領域）に対する統合領域予測画像を生成すると共に、生成された前記統合領域予測画像及び／又は前記領域予測画像をまとめて予測画像フレームとして出力することを可能としている。
したがって、予測部１〜ｎ（３７ａ〜３７ｎ）から各領域（背景領域，境界領域，被写体領域）に適用された予測モード，動きパラメータより動き補償フレーム間予測を用いて予測画像フレームを生成し、出力することができる。
【００５０】
【発明の効果】
請求項１に対応する効果：隣接する処理単位領域（即ち、予測の処理単位となる画像領域）において同一のサイド情報或いは予測結果、例えばその１つである予測モードや動きパラメータとして同じ値が検出された場合、これらの処理単位領域を一つの処理領域として扱うことが可能となり、該処理単位領域の動きを表現するためのサイド情報（領域情報，予測モード，動きベクトルなど）の符号量を減少させることが可能となる。更に、同一の動きをしていると思われる領域全体（即ち、処理単位領域全体）で同じ予測モードおよび／または動きパラメータを用いて動き補償フレーム間予測を行うことになるため、同一の動き領域全体（即ち、同一の動きをしていると思われる領域全体）での予測効率が向上し、最適な予測結果が得られることになる。
【００５１】
請求項２に対応する効果：請求項１の効果に加えて、領域統合処理を予測モード情報の一致で判断することに限定したことにより、同一の動きをしていると思われる領域全体で同じ予測モードを用いて動き補償フレーム間予測を行うことになるため、同一の動き領域全体での予測効率が向上し、良好な予測結果が得られることになるとともに、その処理を簡単に行うことが可能となる。
【００５２】
請求項３に対応する効果：請求項２の効果に加えて、領域統合処理の予測モードとして平行移動という具体的なモードを設定することにより同一の動きとして平行移動を行っていると思われる領域全体で同じ予測モードを用いて動き補償フレーム間予測を行うことになるため、同一の動き領域全体での予測効率が向上し、良好な予測結果が得られることになる。
【００５３】
請求項４に対応する効果：請求項２又は３の効果に加えて、さらに、領域統合処理の予測モードとして双一次変換という具体的なモードを設定することにより同一の動きとして双一次変換に合う動きを行っていると思われる領域全体で同じ予測モードを用いて動き補償フレーム間予測を行うことになるため、同一の動き領域全体での予測効率が向上し、良好な予測結果が得られることになる。
【００５４】
請求項５に対応する効果：請求項２および３の効果に加えて、領域統合処理の予測モードとしてアフィン変換という具体的なモードを設定することにより同一の動きとしてアフィン変換に合う動きを行っていると思われる領域全体で同じ予測モードを用いて動き補償フレーム間予測を行うことになるため、同一の動き領域全体での予測効率が向上し、良好な予測結果が得られることになる。
【００５５】
請求項６に対応する効果：請求項１ないし５の効果に加えて、例えば、背景と人物のように異なる動きをすることが考えられる被写体の境界に関し、より小さい処理単位領域を用いることにより、被写体の境界と処理単位領域との境界がより近くなり、境界における予測方式の使用がより適切になって予測効率が向上し、良好な画像を得るための符号化が行われることになる。
【００５６】
請求項７に対応する効果：隣接する処理単位領域において同一のサイド情報、例えばその１つである予測モードや動きパラメータを採用したことにより、これらの処理単位領域を一つの処理領域として扱うことが可能となり、領域の動きを表現するためのサイド情報（領域情報，予測モード，動きベクトルなど）の符号量を減少させ、それに伴う復号化処理を減らすことが可能となる。更に、同一の動きをしていると思われる領域全体で同じ予測モードおよび／または動きパラメータを用いて動き補償フレーム間予測を行うことになるため、同一の動き領域全体での予測効率が向上し、最適な予測結果が得られることになる。
【００５７】
請求項８に対応する効果：隣接する処理単位領域において同一のサイド情報、例えばその１つである予測モードを採用したことにより、これらの処理単位領域を一つの処理領域として扱うことが可能となり、領域の動きを表現するためのサイド情報（領域情報，予測モード，動きベクトルなど）の符号量を減少させ、それに伴い復号化処理を減らすことが可能となる。更に、同一の動きをしていると思われる領域全体で同じ予測モード及び各処理領域に補間動きパラメータを用いて動き補償フレーム間予測を行うことになるため、同一の動き領域全体での予測効率が向上し、最適な予測結果が得られることになる。
【００５８】
請求項９に対応する効果：請求項７および８の効果に加えて、領域統合処理が予測モード情報の一致で判断された場合に限定することにより、同一の動きをしていると思われる領域全体で同じ予測モードを用いて動き補償フレーム間予測を行うことになるため、同一の動き領域全体での予測効率が向上し、良好な予測結果が得られることになるとともに、その処理を簡単に行うことが可能となる。
【００５９】
請求項１０に対応する効果：請求項９の効果に加えて、領域統合処理の予測モードとして平行移動という具体的なモードが設定されたことにより、同一の動きとして平行移動を行っていると思われる領域全体で同じ予測モードを用いて動き補償フレーム間予測を行うことになるため、同一の動き領域全体での予測効率が向上し、良好な予測結果が得られることになる。
【００６０】
請求項１１に対応する効果：請求項９および１０の効果に加えて、さらに、領域統合処理の予測モードとして双一次変換という具体的なモードが設定されたことにより、同一の動きとして双一次変換に合う動きを行っていると思われる領域全体で同じ予測モードを用いて動き補償フレーム間予測を行うことになるため、同一の動き領域全体での予測効率が向上し、良好な予測結果が得られることになる。
【００６１】
請求項１２に対応する効果：請求項９および１０の効果に加えて、さらに、領域統合処理の予測モードとしてアフィン変換という具体的なモードが設定されたことにより、同一の動きとしてアフィン変換に合う動きを行っていると思われる領域全体で同じ予測モードを用いて動き補償フレーム間予測を行うことになるため、同一の動き領域全体での予測効率が向上し、良好な予測結果が得られることになる。
【００６２】
請求項１３に対応する効果：請求項７ないし１２の効果に加えて、例えば、背景と人物のように異なる動きをすることが考えられる被写体の境界に関し、より小さい処理単位領域を用いることにより、被写体の境界と処理単位領域との境界をより近くした処理単位を部分的に用いた符号化信号をこの符号化処理方式に対応した復号を行うことにより、適切な予測結果を反映した復号を行い、さらに良好な画像を得ることができる。
【図面の簡単な説明】
【図１】本発明による動画像符号化装置における動き補償フレーム間予測部１７の構成を示すブロック図である。
【図２】本発明による動画像復号化装置の動き補償フレーム間予測部の実施形態の一例を示すブロック図である。
【図３】本発明による動画像復号化装置の動き補償フレーム間予測部の実施形態の他の例を示すブロック図である。
【図４】予測モードがブロックの平行移動の場合の領域統合の概念及び動きベクトルの処理を説明する図である。
【図５】予測モードがアフィン変換の場合の領域統合の概念及び動きベクトルの処理を説明する図である。
【図６】予測モードが双一次変換の場合の領域統合の概念及び動きベクトルの処理を説明する図である。
【図７】本発明及び従来技術に共通する動画像符号化装置の基本構成の一例を示すブロック図である。
【図８】従来の動画像符号化装置（図７，参照）の動き補償フレーム間予測部の構成の一例を示すブロック図である。
【図９】本発明及び従来技術に共通する動画像復号化装置の基本構成の一例を示すブロック図である。
【図１０】従来の動画像復号化装置（図９，参照）の動き補償フレーム間予測部の構成の一例を示すブロック図である。
【図１１】本発明において、処理領域単位としてさらに小領域を付加した方式により行われる処理の実施形態を説明するための概念図である。
【符号の説明】
１１…減算部、１２…画像符号化部、１３…符号化制御部、１４，２１…画像復号化部、１５，２２…加算部、１６，２４…フレームメモリ部、１７，１７′，２３，２３′，２３（Ｉ），２３（II）…動き補償フレーム間予測部、３１，５１…動きベクトル探索部、３２ａ〜３２ｎ，３７ａ〜３７ｎ，５２ａ〜５２ｎ，５６ａ〜５６ｎ…予測部１〜ｎ、３３，５３…領域予測決定部、３４…予測領域統合決定部、３５，５４…サイド情報符号化部、３６，５５…サイド情報復号化部、３８…ベクトル補間部。
Claims (13)
- 動き補償フレーム間予測を行い、該予測により得た予測画像フレームと予測対象としての入力画像フレームとの間の予測誤差情報及び前記予測に用いた予測サイド情報を符号化する動画像符号化装置において、前記動き補償フレーム間予測の処理単位となる画像領域毎に異なる予測方式を用いて、前記画像領域に対する複数の領域予測画像を生成し出力する予測部と、該予測部からの前記複数の領域予測画像より前記画像領域に対して予測誤差が最小となる予測方式を決定し、該決定に関わる領域情報，予測モード情報及び動きベクトルを少なくとも含む前記予測サイド情報を出力する領域予測決定部と、該領域予測決定部からの前記予測サイド情報を参照して、隣接する前記画像領域の少なくとも予測モード及び動きベクトルが等しい場合に隣接する前記画像領域同士の領域統合を行うことを決定して、該決定に従い領域統合をしたことを示す領域統合情報を付加し、かつ、領域統合した前記画像領域の動きベクトルのうちから代表する動きベクトルのみを残した前記予測サイド情報を出力するとともに、該予測サイド情報に含まれる領域統合情報，予測モード情報及び動きベクトルに従って前記統合された画像領域に対する統合領域予測画像を生成し、生成された前記統合領域予測画像と、領域統合を行わなかった画像領域に対する前記領域予測画像とを組み合わせて前記予測画像フレームとして出力する予測領域統合決定部とを備えるようにしたことを特徴とする動画像符号化装置。
- 前記予測領域統合決定部は、前記領域予測決定部から出力される前記予測モード情報が一致する場合に、隣接する前記画像領域同士の領域統合を行うようにしたことを特徴とする請求項１記載の動画像符号化装置。
- 前記一致する予測モード情報として平行移動を設定するようにしたことを特徴する請求項２記載の動画像符号化装置。
- 前記一致する予測モード情報として双一次変換を設定するようにしたことを特徴とする請求項２又は３記載の動画像符号化装置。
- 前記一致する予測モード情報としてアフィン変換を設定するようにしたことを特徴とする請求項２又は３記載の動画像符号化装置。
- 前記処理単位となる画像領域として領域単位の大きさを異にする複数の画像領域を使用し、前記入力画像フレーム全体を重複しない前記大きさを異にする複数の画像領域に分割して、前記予測部では前記大きさを異にする画像領域に対する領域予測画像を生成して出力し、前記予測領域統合決定部では隣接する大きさを異にする前記画像領域の少なくとも予測モード及び動きベクトルが等しい場合に隣接する大きさを異にする前記画像領域同士の領域統合を行うようにしたことを特徴とする請求項１ないし５いずれか記載の動画像符号化装置。
- 動き補償フレーム間予測方式による符号化画像情報及び符号化予測サイド情報を復号化して出力画像フレームを生成する動画像復号化装置において、符号化予測サイド情報を復号化し、予測の処理単位となる画像領域に関わる領域情報，予測モード情報，動きベクトル及び隣接する前記画像領域同士の領域統合に関わる領域統合情報を少なくとも含む予測サイド情報を出力するとともに、該画像領域の予測方式を示す予測モード選択信号を出力する予測サイド情報復号化部と、前記画像領域に対して複数の異なる予測方式のうちから、前記予測モード選択信号より指示された予測方式を用いて、前記予測サイド情報に基づいて、前記領域統合情報で領域統合されていない前記画像領域に対しては領域予測画像を生成し、前記領域統合情報が示す領域統合された隣接する前記画像領域同士に対しては領域統合された前記画像領域に関する統合領域予測画像を生成する予測部とを備えるようにしたことを特徴とする動画像復号化装置。
- 動き補償フレーム間予測方式による符号化画像情報及び符号化予測サイド情報を復号化して出力画像フレームを生成する動画像復号化装置において、符号化予測サイド情報を復号化し、予測の処理単位となる画像領域に関わる領域情報，予測モード情報，動きベクトル及び隣接する前記画像領域同士の領域統合に関わる領域統合情報を少なくとも含む予測サイド情報を出力するとともに、該画像領域の予測方式を示す予測モード選択信号を出力する予測サイド情報復号化部と、復号化された前記予測サイド情報より動きベクトルを補間して出力する動きベクトル補間部と、前記画像領域に対して複数の異なる予測方式のうちから、前記予測モード選択信号より指示された予測方式を用いて、前記予測サイド情報と前記動きベクトル補間部からの補間された動きベクトルとに基づいて、前記領域統合情報で領域統合されていない前記画像領域に対しては領域予測画像を生成し、前記領域統合情報が示す領域統合された隣接する前記画像領域同士に対しては領域統合された前記画像領域に関する統合領域予測画像を生成する予測部とを備えるようにしたことを特徴とする動画像復号化装置。
- 前記領域統合情報には隣接する前記画像領域同士の予測モード情報が一致することを表わすモード一致情報を含み、前記モード一致情報に従って前記統合された画像領域に対して単一の予測方式を用いて統合領域予測画像を生成することを特徴とする請求項７又は８記載の動画像復号化装置。
- 前記一致する予測モード情報として平行移動が設定されていることを特徴とする請求項９記載の動画像復号化装置。
- 前記一致する予測モード情報としてアフィン変換が設定されていることを特徴とする請求項９又は１０記載の動画像復号化装置。
- 前記一致する予測モード情報として双一次変換が設定されていることを特徴とする請求項９又は１０記載の動画像復号化装置。
- 前記処理単位となる画像領域として領域単位の大きさを異にする複数の画像領域を使用し、前記出力画像フレーム全体を重複しない前記大きさを異にする複数の画像領域に分割して、前記予測部では前記大きさを異にする画像領域に対する領域予測画像を生成して出力するようにしたことを特徴とする請求項７ないし１２いずれか記載の動画像復号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07722897A JP3637996B2 (ja) | 1997-03-28 | 1997-03-28 | 領域統合が可能な動き補償フレーム間予測方式を用いた動画像符号化・復号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07722897A JP3637996B2 (ja) | 1997-03-28 | 1997-03-28 | 領域統合が可能な動き補償フレーム間予測方式を用いた動画像符号化・復号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10276439A JPH10276439A (ja) | 1998-10-13 |
| JP3637996B2 true JP3637996B2 (ja) | 2005-04-13 |
Family
ID=13628009
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07722897A Expired - Fee Related JP3637996B2 (ja) | 1997-03-28 | 1997-03-28 | 領域統合が可能な動き補償フレーム間予測方式を用いた動画像符号化・復号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3637996B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI563835B (ja) * | 2011-06-30 | 2016-12-21 | Jvc Kenwood Corp |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7974193B2 (en) | 2005-04-08 | 2011-07-05 | Qualcomm Incorporated | Methods and systems for resizing multimedia content based on quality and rate information |
| US8582905B2 (en) | 2006-01-31 | 2013-11-12 | Qualcomm Incorporated | Methods and systems for rate control within an encoding device |
| CN101569201B (zh) | 2006-11-07 | 2011-10-05 | 三星电子株式会社 | 基于帧内预测进行编码和解码的方法和装置 |
| KR101375669B1 (ko) | 2006-11-07 | 2014-03-19 | 삼성전자주식회사 | 인터 예측 부호화, 복호화 방법 및 장치 |
| JP2011223357A (ja) * | 2010-04-09 | 2011-11-04 | Sony Corp | 画像処理装置および方法 |
| JP2012209911A (ja) * | 2010-12-20 | 2012-10-25 | Sony Corp | 画像処理装置および方法 |
| KR20150088909A (ko) | 2011-06-30 | 2015-08-03 | 가부시키가이샤 제이브이씨 켄우드 | 화상 부호화 장치, 화상 부호화 방법, 화상 부호화 프로그램, 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램 |
| WO2013001803A1 (ja) | 2011-06-30 | 2013-01-03 | 株式会社Ｊｖｃケンウッド | 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法および画像復号プログラム |
| JPWO2013031071A1 (ja) * | 2011-09-02 | 2015-03-23 | パナソニックＩｐマネジメント株式会社 | 動画像復号装置、動画像復号方法、及び集積回路 |
| TWI658725B (zh) | 2011-12-28 | 2019-05-01 | 日商Ｊｖｃ建伍股份有限公司 | 動態影像解碼裝置、動態影像解碼方法及動態影像解碼程式 |
| TWI653878B (zh) | 2011-12-28 | 2019-03-11 | Ｊｖｃ建伍股份有限公司 | 動態影像解碼裝置、動態影像解碼方法及記錄有動態影像解碼程式的記錄媒體 |
| TWI559747B (zh) | 2011-12-28 | 2016-11-21 | Jvc Kenwood Corp | A dynamic image coding apparatus, a motion picture coding method and a motion picture coding program, and a motion picture decoding apparatus, a motion picture decoding method, and a motion picture decoding program |
| CN108235032B (zh) | 2012-01-18 | 2022-01-07 | Jvc 建伍株式会社 | 动图像解码装置以及动图像解码方法 |
| WO2013140807A1 (ja) | 2012-03-23 | 2013-09-26 | 株式会社Ｊｖｃケンウッド | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム、並びに動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム |
| RU2770794C1 (ru) | 2018-12-13 | 2022-04-21 | ДжейВиСиКЕНВУД Корпорейшн | Устройство декодирования изображения, способ декодирования изображения |
| JP6933235B2 (ja) | 2018-12-13 | 2021-09-08 | 株式会社Ｊｖｃケンウッド | 画像復号装置、画像復号方法、及び画像復号プログラム |
-
1997
- 1997-03-28 JP JP07722897A patent/JP3637996B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI563835B (ja) * | 2011-06-30 | 2016-12-21 | Jvc Kenwood Corp |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10276439A (ja) | 1998-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3637996B2 (ja) | 領域統合が可能な動き補償フレーム間予測方式を用いた動画像符号化・復号化装置 | |
| EP2202985B1 (en) | An interframe prediction encoding/decoding method and apparatus | |
| CA3014042C (en) | Low-complexity intra prediction for video coding | |
| US8208547B2 (en) | Bidirectional predicted pictures or video object planes for efficient and flexible coding | |
| KR100592651B1 (ko) | 트랜스코딩 방법 및 장치 | |
| KR100950743B1 (ko) | 화상 정보 부호화 장치 및 방법, 및 화상 정보 복호 장치및 방법 | |
| JP5289440B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
| JPH09172644A (ja) | アフィン変換による動き補償フレーム間予測方式を用いた動画像符号化・復号化装置 | |
| US20060222074A1 (en) | Method and system for motion estimation in a video encoder | |
| KR20120027145A (ko) | 화상 처리 장치 및 방법 | |
| JP2009533002A (ja) | ビデオ圧縮におけるエンハンストフレーム補間の装置及び方法 | |
| JP2006279573A (ja) | 符号化装置と方法、ならびに復号装置と方法 | |
| WO2017122604A1 (ja) | 動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラムが記憶された記憶媒体 | |
| WO2012098845A1 (ja) | 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置 | |
| KR20120105396A (ko) | 모션 추정을 위한 기법들 | |
| JP3940657B2 (ja) | 動画像符号化方法と装置及び動画像復号化方法と装置 | |
| JPH1093975A (ja) | 動画像符号化装置における動き補償フレーム間予測方法 | |
| JP4427553B2 (ja) | 動画像復号化装置 | |
| JP3589480B2 (ja) | 映像信号符号化方式 | |
| JP3746708B2 (ja) | 動画像符号化装置 | |
| JP2001224036A (ja) | 動画像符号化装置 | |
| US8218639B2 (en) | Method for pixel prediction with low complexity | |
| JP4134078B2 (ja) | 動画像復号化装置 | |
| JPH09261654A (ja) | 適応的動き補償フレーム間予測を用いた動画像符号化・復号化装置 | |
| JPH11122619A (ja) | 動画像符号化および復号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041208 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050105 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080121 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090121 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100121 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110121 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120121 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130121 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130121 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |