JPH10276439A - 領域統合が可能な動き補償フレーム間予測方式を用いた動画像符号化・復号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 処理単位領域毎に行われる動き補償フレーム
間予測及びその符号化処理をより効率的に行い、処理単
位領域のとり方によって起きる予測のずれを発生させな
い予測方式を用いた動画像符号化，復号化装置を提供す
る。 【解決手段】 各予測部１〜ｎ（３２ａ〜３２ｎ）はフ
レームメモリ部１６から入力された参照画像と入力画像
より動きベクトル探索部３１で探索された動きベクトル
及び参照画像より異なる予測方式を用いて画像上設定し
た処理単位領域毎に予測画像を生成する。領域予測決定
部３３は予測画像１〜ｎと入力画像の差を求め、各単位
領域毎に誤差が最小となる予測画像と動きベクトル，領
域情報，予測モード情報を予測領域統合決定部３４へ、
またその予測画像も出力する。予測領域統合決定部は動
きベクトル，領域情報，予測モード情報より隣接する単
位領域が統合可能であるかを判断し領域統合情報を予測
サイド情報の一つとして付加する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像符号化装置
および動画像復号化装置に関し、より詳細には、領域統
合が可能な動き補償フレーム間予測方式による動画像の
符号および復号を行う当該装置に関する。

【０００２】

【従来の技術】従来では、ＩＳＤＮ（Intergrated Serv
ices Digital Network）網などの高速ディジタル網にお
いて、テレビ電話やテレビ会議システムなどの動画像通
信が実現されていた。近年、ＰＨＳ（Personal Handyph
one System）に代表される無線伝送網の進展、および、
ＰＳＴＮ（Public Switching Telephone Network）網に
おけるデータ変調・復調技術の進展、さらに、画像圧縮
技術の進展に伴い、より低ビットレート網における動画
像通信への要求が高まっている。一般にテレビ電話やテ
レビ会議システムのように、動画像情報を伝送する場合
においては、動画像の情報量が膨大なのに対して、伝送
に用いる回線の回線速度や回線コストの点から、伝送す
る動画像の情報量を圧縮符号化し、情報量を少なくして
伝送することが必要となってくる。

【０００３】動画像情報を圧縮する符号化方式として
は、Ｈ．２６１、ＭＰＥＧ−１（ＭＰＥＧ：Moving Pic
ture Coding Expert Group）、ＭＰＥＧ−２などがすで
に国際標準化されている。さらに、６４ｋｂｐｓ以下の
超低ビットレートの符号化方式としてＭＰＥＧ−４の標
準化活動が進められている。現在、標準化されている動
画像映像符号化方式では、フレーム間予測符号化および
フレーム内符号化を組み合わせて行うハイブリッド映像
符号化方式を採用している。フレーム間予測符号化は、
動画像を符号化する際に参照画像から対象とする現画像
を予測することにより予測画像を生成し、現画像との差
分をとり、それを符号化することで符号化量を減少させ
伝送することで伝送路の効率的な利用を図るものであ
る。

【０００４】図７は、従来の動画像符号化装置全体の基
本構成を例示するブロック図である。図７にもとづき、
従来の動画像符号化装置の全体の動作を以下に説明す
る。ここで、動き補償フレーム間予測符号化を行ってい
る場合の定常状態としてフレームメモリ部１６に、予測
画像を生成する際に使用される参照画像が記憶されてい
るものとする。動画像符号化装置に入力された入力画像
フレームは、装置内の減算部１１および動き補償フレー
ム間予測部１７′に入力される。動き補償フレーム間予
測部１７′では、フレームメモリ部１６に記憶された参
照画像と入力画像から動き予測を行い、減算部１１に対
して予測画像フレームを出力する。

【０００５】また、動き補償フレーム間予測部１７′で
は、予測の際に得られた動きベクトルなどのサイド情報
を符号化し、符号化サイド情報を出力し、復号化に供す
る。減算部１１は、入力画像から動き補償フレーム間予
測部１７′より入力した予測画像を減算し、減算した結
果（予測誤差情報）を画像符号化部１２に出力する。画
像符号化部１２は、入力された予測誤差信号をＤＣＴ
（Discrete Cosine Transform）変換などの空間変換お
よび量子化を行い、符号化画像情報として出力し、伝送
後の復号に供する。

【０００６】画像符号化部１２から出力された符号化画
像情報は、同時に、画像復号化部１４によりローカルに
復号され、加算部１５に出力される。加算部１５では、
動き補償フレーム間予測部１７′から出力された予測画
像と画像復号化部１４より出力された予測誤差情報を加
算し、新たな参照画像を生成し、フレームメモリ部１６
へ出力する。フレームメモリ部１６は、加算部１５より
出力された新たな参照画像を記憶し、次の入力画像の符
号化の際に、前記動き補償フレーム間予測部１７′に出
力する。以上、説明したような動作を繰り返すことによ
り、動画像符号化装置では、連続した符号化画像情報
（予測誤差情報）および符号化サイド情報の出力を行
う。

【０００７】次に、上述の動画像符号化装置における動
き補償フレーム間予測部１７′の動作および各部で用い
られる方式について説明する。図８は、図７に示す従来
の動画像符号化装置における動き補償フレーム間予測部
１７′の構成の一例を示すブロック図である。図８の動
き補償フレーム間予測部１７′において、５１は動きベ
クトル探索部、５２ａ，５２ｂ，…，５２ｎは、予測部
１，予測部２，…，予測部ｎ、５３は領域予測決定部、
５４はサイド情報符号化部である。

【０００８】動きベクトル探索部５１は、入力された入
力画像フレームとフレームメモリ部１６から入力された
参照画像フレームより動きベクトルを探索し、予測部１
〜ｎ（５２ａ〜５２ｎ）に出力する。各予測部１〜ｎ
（５２ａ〜５２ｎ）は、入力された動きベクトルおよび
フレームメモリ部１６より入力された参照画像フレーム
より異なるｎ個の動き補償フレーム間予測方式を用いて
予測画像を生成する。この際、各予測部は、入力された
参照画像フレームをマクロブロックと呼ばれる単位領域
に分割し、フレーム間予測処理を行う。このそれぞれの
領域を、以後、「処理単位領域」と呼ぶ。そして、各予
測部１〜ｎ（５２ａ〜５２ｎ）は、生成した予測画像１
〜ｎおよびフレーム間予測処理で使用した動きベクトル
を領域予測決定部５３に出力する。

【０００９】領域予測決定部５３は、予測部１〜ｎ（５
２ａ〜５２ｎ）より入力された予測画像１〜ｎと入力画
像フレームから差分を計算し、各処理単位領域毎の誤差
を比較して誤差が最小となる予測画像を採用し、採用し
た処理単位領域の予測画像を構成する要素としての動き
ベクトル，領域情報，予測モード情報といったサイド情
報をサイド情報符号化部５４に出力し、また、採用され
た各処理単位領域をまとめて予測画像フレームとして出
力する。サイド情報符号化部５４は、領域予測決定部５
３より入力されたサイド情報（動きベクトル，領域情
報，予測モード情報）を符号化し符号化サイド情報を出
力する。

【００１０】図９は、従来の動画像復号化装置全体の基
本構成を例示するブロック図である。次に、図９にもと
づき、従来の動画像復号化装置の全体の動作を説明す
る。ここで、動き補償フレーム間予測復号化を行ってい
る場合の定常状態としてフレームメモリ部２４に、予測
画像を生成する際に使用される参照画像が記憶されてい
るものとする。

【００１１】動画像復号化装置に入力された符号化画像
情報は、装置内の画像復号化部２１に入力される。前記
画像復号化部２１では、画像符号化装置（図７，参照）
における画像復号化部１４と同一の手段をなすもので符
号化画像情報を復号し、得られた誤差画像を加算部２２
に出力する。一方、動画像復号化装置に入力された符号
化サイド情報は、動き補償フレーム間予測部２３′に入
力される。動き補償フレーム間予測部２３′は、入力さ
れた符号化サイド情報を復号化し動きベクトルなどのサ
イド情報を得る。さらに得たサイド情報とフレームメモ
リ部２４から入力される参照画像とにより予測画像を生
成し、加算部２２に出力する。加算部２２は、画像復号
化部２１より出力された誤差画像と動き補償フレーム間
予測部２３′より出力された予測画像の加算を行い、出
力画像を得る。この出力画像は、動画像復号化装置から
の出力画像として出力されると同時に、フレームメモリ
部２４に対しても出力される。フレームメモリ部２４
は、加算部２２より出力された画像を新たな参照画像と
してこれを記憶し、次の画像の復号化の際に動き補償フ
レーム間予測部２３′に出力される。

【００１２】以上に説明したような動作が繰り返えされ
るが、ここで、動画像復号化装置における動き補償フレ
ーム間予測部２３′の構成および動作をより詳細に説明
する。図１０は、図９に示す従来の動画像復号化装置に
おける動き補償フレーム間予測部２３′の構成の一例を
示すブロック図である。図１０の動き補償フレーム間予
測部２３′において、５５はサイド情報復号化部、５６
ａ，５６ｂ，…，５６ｎは予測部１，予測部２，…，予
測部ｎである。

【００１３】動き補償フレーム間予測部２３′に入力さ
れた符号化サイド情報は、サイド情報復号化部５５に入
力される。サイド情報復号化部５５では、入力された符
号化サイド情報を復号し、動きベクトル，予測モード情
報を得、予測部１〜ｎ（５６ａ〜５６ｎ）に動きベクト
ルを出力する。また、サイド情報復号化部５５は、予測
部１〜ｎ（５６ａ〜５６ｎ）からの出力をスイッチング
するための予測モード選択信号を出力する。

【００１４】サイド情報復号化部５５よりサイド情報を
入力された予測部１〜ｎ（５６ａ〜５６ｎ）は、入力さ
れた動きベクトルとフレームメモリ部２４より入力され
た参照画像フレームより、各予測部に固有の動き補償フ
レーム間予測方式を用いて各処理単位領域毎に予測画像
を生成し、出力する。予測部（５６ａ〜５６ｎ）から出
力された予測画像１〜ｎは、サイド情報復号化部５５か
ら出力される予測モード選択信号によってスイッチング
され、予測画像フレームとして出力される。以上に説明
したような動作が繰り返えされることにより、動画像復
号化装置では、符号化画像情報および符号化サイド情報
を復号化し、出力画像フレームの出力を行うことにな
る。

【００１５】

【発明が解決しようとする課題】従来では、マクロブロ
ックと呼ばれる処理単位領域毎に動き補償フレーム間予
測処理が行われ、領域情報，予測モード，動きベクト
ル，予測誤差情報などが符号化されていた。そのため、
隣接する処理単位領域で同一な予測モード，動きベクト
ルが検出された場合において、サイド情報が重複して符
号化・伝送されることになり、効率的な符号化ができな
いという問題があった。また、処理単位領域毎に予測を
行っているため、本来ではあれば同一の動きをしている
領域においても異なる予測モードや動きベクトルが選択
されてしまうことになり、予測効率の悪化や、同一の動
き領域全体の予測結果の悪化が起こるという問題点があ
った。更に、動いている領域の輪郭と処理単位領域との
境界が一致しておらず、領域間の境界部分での予測効率
の悪化が起こるという問題点があった。

【００１６】本発明は、こうした従来技術における問題
点に鑑みてなされたもので、処理単位領域毎に行われる
動き補償フレーム間予測及びその符号化処理において、
より効率的な符号化を行い、また、処理単位領域のとり
方によって起きる予測のずれを発生させないようにした
動き補償フレーム間予測方式を用いた動画像符号化装置
及び該動画像符号化装置による符号化信号を復号する動
画像復号化装置を提供することをその解決すべき課題と
する。

【００１７】

【課題を解決するための手段】請求項１の発明は、動き
補償フレーム間予測を行い、該予測により得た予測画像
フレームと予測対象としての入力画像フレームとの間の
予測誤差情報及び前記予測に用いた予測サイド情報を符
号化する動画像符号化装置において、前記動き補償フレ
ーム間予測の処理単位となる画像領域毎に異なる予測方
式を用いて複数の予測画像を生成し出力する予測部と、
該予測部からの複数の予測画像より最適な予測方式を決
定し、該決定に関わる領域情報，予測モード情報及び動
きベクトルなどからなる前記予測サイド情報を出力する
領域予測決定部と、該領域予測決定部からの前記予測サ
イド情報，入力画像情報及び予測画像情報にもとづき隣
接する前記予測処理単位画像領域同士の領域統合を行
い、該領域統合情報を付加した前記サイド情報を出力す
るとともに該サイド情報により前記予測画像を生成する
予測領域統合決定部とを備えるようにしたものである。

【００１８】請求項２の発明は、請求項１の発明におい
て、前記予測領域統合決定部は、前記領域予測決定部か
ら出力される予測モード情報が一致する場合に、隣接す
る前記予測処理単位画像領域同士の領域統合を行うよう
にしたものである。

【００１９】請求項３の発明は、請求項２の発明におい
て、前記一致する予測モード情報として平行移動を設定
するようにしたものである。

【００２０】請求項４の発明は、請求項２又は３の発明
において、前記一致する予測モード情報として双一次変
換を設定するようにしたものである。

【００２１】請求項５の発明は、請求項２又は３の発明
において、前記一致する予測モード情報としてアフィン
変換を設定するようにしたものである。

【００２２】請求項６の発明は、請求項１ないし５いず
れかの発明において、前記処理単位となる画像領域とし
て前記予測方式を共通に用い得るが領域単位の大きさを
異にする複数の処理単位を使用し、該複数の処理単位を
組合わせて前記入力画像フレーム全体の符号化を行う方
式とし、この方式に対応して前記予測部，前記領域予測
決定部及び前記予測領域統合決定部を構成するようにし
たものである。

【００２３】請求項７の発明は、動き補償フレーム間予
測方式による符号化画像情報及び符号化予測サイド情報
を復号化する動画像復号化装置において、符号化予測サ
イド情報を復号化し、予測の処理単位となる画像に関わ
る領域情報，予測モード情報，動きベクトル及び領域統
合情報などからなる予測サイド情報を復号し、該予測サ
イド情報を出力するとともに、予測モード選択信号を出
力する予測サイド情報復号化部と、復号された前記予測
サイド情報及び前記予測モード選択信号より指示された
予測方式を用いて予測画像を生成する予測部と、該予測
部より出力された予測画像を前記予測モード選択信号に
より切り替えて出力するようにしたものである。

【００２４】請求項８の発明は、動き補償フレーム間予
測方式による符号化画像情報及び符号化予測サイド情報
を復号化する動画像復号化装置において、符号化予測サ
イド情報を復号化し、予測の処理単位となる画像に関わ
る領域情報，予測モード情報，動きベクトル及び領域統
合情報などからなる予測サイド情報を復号し、該予測サ
イド情報を出力するとともに、予測モード選択信号を出
力する予測サイド情報復号化部と、復号された前記予測
サイド情報より動きベクトルを補間して該予測サイド情
報に付加して出力する動きベクトル補間部と、該動きベ
クトル補間部からの予測サイド情報及び前記予測モード
選択信号より指示された予測方式を用いて予測画像を生
成する予測部と、該予測部より出力された予測画像を前
記予測モード選択信号により切り替えて出力するように
したものである。

【００２５】請求項９の発明は、請求項７又は８の発明
において、前記領域統合情報として隣接する前記予測処
理単位領域画像領域同士の予測モード情報の一致を表わ
す情報が用いられている場合に、前記予測モードの一致
情報に応じて動作するように構成したものである。

【００２６】請求項１０の発明は、請求項９の発明にお
いて、前記一致する予測モード情報として平行移動が設
定されていることに対応して構成されるものである。

【００２７】請求項１１の発明は、請求項９又は１０の
発明において、前記一致する予測モード情報としてアフ
ィン変換が設定されていることに対応して構成されるも
のである。

【００２８】請求項１２の発明は、請求項９又は１０の
発明において、前記一致する予測モード情報として双一
次変換が設定されていることに対応して構成されるもの
である。

【００２９】請求項１３の発明は、請求項７ないし１２
いずれかの発明において、前記処理単位となる画像領域
として前記予測方式を共通に用い得るが領域単位の大き
さを異にする複数の処理単位を使用し、該複数の処理単
位を組合わせて前記入力画像フレーム全体の符号化を行
う方式としたことに対応して前記予測サイド情報復号化
部及び前記予測部を構成するようにしたものである。

【００３０】そして、上記のように構成される領域統合
が可能な動き補償フレーム間予測方式を用いた動画像符
号化・復号化装置によると、隣接する処理単位領域にお
いて同一の予測モード，動きパラメータが検出された場
合、こられの処理単域領域を一つの処理領域として扱う
ことが可能となり、領域の動きを表現するためのサイド
情報（領域情報，予測モード，動きベクトルなど）の符
号量を減少させることが可能となる。また、同一の動き
をしていると思われる領域全体で同じ予測モードを用い
て動き補償フレーム間予測を行うことになるため、同一
の動き領域全体での予測効率が向上し、最適な予測結果
が得られることになる。これらの作用によって、より効
率的な動き補償フレーム間予測が可能となり、より効率
的な動画像の符号化・復号化が可能となる。その結果、
従来より低ビットレートな回線・伝送路を用いての動画
像通信が可能となる。

【００３１】

【発明の実施の形態】本発明の実施形態の一例を説明す
るが、この実施形態における動画像符号化装置および動
画像復号化装置の全体の構成は、従来技術を例示するも
のとして示した図７及び図９の基本構成と変わるところ
がなく、同図を本発明の実施形態においてもその基本構
成の一例として実施し得る。ここでは、動画像符号化装
置および動画像復号化装置の構成要素として本発明によ
る当該装置の構成を特徴付ける領域統合が可能な動き補
償フレーム間予測部の動作および予測部の各部で用いら
れる方式について以下に詳しく説明する。図１は、本発
明による動画像符号化装置における動き補償フレーム間
予測部１７の構成を示すブロック図である。図１におい
て、３１は動きベクトル探索部、３２ａ，３２ｂ，…，
３２ｎは予測部１，予測部２，…，予測部ｎ、３３は領
域予測決定部、３４は予測領域統合決定部、３５はサイ
ド情報符号化部である。

【００３２】動きベクトル探索部３１は、入力された入
力画像フレームとフレームメモリ部１６から入力された
参照画像フレームより動きベクトルを探索し、予測部１
〜ｎ（３２ａ〜３２ｎ）に出力する。各予測部１〜ｎ
（３２ａ〜３２ｎ）は、入力された動きベクトルおよび
フレームメモリ部１６より入力された参照画像フレーム
より、異なるｎ個の動き補償フレーム間予測方式を用い
て予測画像を生成する。この際、各予測部は、入力され
た参照画像フレームを処理単位領域に分割し、処理単位
領域毎にフレーム間予測処理を各予測部で行う。

【００３３】そして、各予測部１〜ｎ（３２ａ〜３２
ｎ）は、フレーム間予測処理で使用した動きベクトルお
よびその予測処理で生成した予測画像１〜ｎを領域予測
決定部３３に出力する。領域予測決定部３３は、予測部
１〜ｎ（３２ａ〜３２ｎ）より入力された予測画像１〜
ｎと入力画像フレームとから両画像間の差分を計算し、
各処理単位領域毎に予測画像１〜ｎの中から誤差が最小
となる予測画像を採用し、その処理単位領域について採
用した予測画像を構成するその動きベクトル，領域情
報，予測モード情報を予測領域統合決定部３４に出力す
る。なお、予測領域統合決定部３４で採用された各処理
単位領域をまとめて予測画像フレームを生成し、出力す
るようにしても良い。

【００３４】予測領域統合決定部３４は、領域予測決定
部３３より出力された動きベクトル，領域情報，予測モ
ード情報より隣接する処理単位領域が統合可能であるか
を判断して領域統合情報を生成し、これを前記サイド情
報に付加し、サイド情報符号化部３５に出力する。ま
た、予測領域統合決定部３４では、サイド情報にもとづ
いて予測画像フレームを生成し、外部に出力する。サイ
ド情報符号化部３５は、予測領域統合決定部３４より入
力されたサイド情報（動きベクトル，領域情報，予測モ
ード情報，領域統合情報）を符号化し符号化サイド情報
を出力する。

【００３５】次に、本発明による動画像復号化装置（図
９，参照）のこの実施形態における動き補償フレーム間
予測部２３の構成および動作を説明する。図２及び図３
は、本発明による動画像復号化装置における異なる構成
をなす動き補償フレーム間予測部２３（Ｉ），２３（I
I）それぞれの実施形態を例示するブロック図である。
図２において、３６はサイド情報復号化部、３７ａ，３
７ｂ，…，３７ｎは予測部１，予測部２，…，予測部ｎ
であり、この予測部２３（Ｉ）は、構成要素として有す
る予測部１〜ｎ（３７ａ〜３７ｎ）が予測画像の生成の
領域サイズが固定的でない場合にも対応可能であるもの
を示している。また、図３において、３６はサイド情報
復号化部、３７ａ，３７ｂ，…，３７ｎは予測部１，予
測部２，…，予測部ｎ、３８は動きベクトル補間部であ
り、この予測部２３（II）は、構成要素として有する予
測部１〜ｎ（３７ａ〜３７ｎ）が予測画像の生成の領域
サイズが固定的である場合のみ対応可能であるものを示
している。

【００３６】まず、始めに、図２の実施形態に関して説
明する。動き補償フレーム間予測部２３（Ｉ）に入力さ
れた符号化サイド情報は、サイド情報復号化部３６に入
力される。サイド情報復号化部３６では、入力された符
号化サイド情報を復号し、動きベクトル，領域情報，予
測モード情報，領域統合情報を得、予測部１〜ｎ（３７
ａ〜３７ｎ）に対して、動きベクトル，領域情報，予測
モード情報，領域統合情報を出力する。また、サイド情
報復号化部３６は、予測部１〜ｎ（３７ａ〜３７ｎ）か
らの出力をスイッチングするための予測モード選択信号
を出力する。サイド情報復号化部３６よりサイド情報を
入力された予測部１〜ｎ（３７ａ〜３７ｎ）は、入力さ
れたサイド情報とフレームメモリ部２４より入力された
参照画像フレームより、各予測部に固有の動き補償フレ
ーム間予測方式を用いて予測画像を生成し、出力する。
予測部１〜ｎ（３７ａ〜３７ｎ）から出力された予測画
像１〜ｎは、サイド情報復号化部３６から出力される予
測モード選択信号によってスイッチングされ、予測画像
フレームとして出力される。

【００３７】次に、図３の実施形態に関して説明する。
動き補償フレーム間予測部２３（II）に入力された符号
化サイド情報は、サイド情報復号化部３６に入力され
る。サイド情報復号化部３６では、入力された符号化サ
イド情報を復号し、動きベクトル，領域情報，予測モー
ド情報，領域統合情報を得、動きベクトル補間部３８に
動きベクトル，領域情報，予測モード情報，領域統合情
報を、領域予測選択部３９に領域情報，予測モード情
報，領域統合情報を出力する。また、サイド情報復号化
部３６は、予測部１〜ｎ（３７ａ〜３７ｎ）からの出力
をスイッチングするための予測モード選択信号を出力す
る。

【００３８】動きベクトル補間部３８は、サイド情報復
号化部３６より入力された領域情報，予測モード情報，
領域統合情報より、隣接する処理単位領域において用い
られる動きベクトルを各予測モード情報に従って補間を
行い補間動きベクトルを予測部１〜ｎ（３７ａ〜３７
ｎ）に出力する。予測部１〜ｎ（３７ａ〜３７ｎ）は、
動きベクトル補間部３８より入力された補間動きベクト
ルとフレームメモリ部２４より入力された参照画像フレ
ームより異なるｎ個の動き補償フレーム間予測方式を用
いて予測画像を生成する。この際、各予測部は、入力さ
れた参照画像フレームを処理単位領域に分割し、フレー
ム間予測処理を行う。各予測部１〜ｎ（３７ａ〜３７
ｎ）から出力された予測画像１〜ｎは、サイド情報復号
化部３６から出力される予測モード選択信号によってス
イッチングされ予測画像フレームとして出力される。

【００３９】以上、説明したような動作を繰り返すこと
により、動画像復号化装置では、符号化情報および符号
化サイド情報を復号化し、出力画像フレームの出力を行
う。次に、各予測モード時における領域統合について説
明する。図４は、予測モードがブロックの平行移動の場
合の領域統合、図５は、アフィン変換の場合の領域統
合、図６は、双一次変換の場合の領域統合の例を示す図
で、領域統合の概念及び動きベクトルの処理を説明する
ためのものである。それぞれ、縦横２マクロブロックが
同一の予測モード，動きパラメータを有している場合
（ケース１）、縦横３マクロブロックの場合（ケース
２）、縦２マクロブロックの場合（ケース３）、横マク
ロブロックの場合（ケース４）を例として挙げている。
各図の各ケースにおいて、位置Ｐ（ｎ，ｍ）における動
きベクトルをＶ（ｎ，ｍ）とする。

【００４０】始めに、図４のブロックの平行移動の場合
の領域統合について説明する。図４のケース１におい
て、各マクロブロックにおける動きベクトルＶ（０，
０）＝Ｖ（１，０）＝Ｖ（０，１）＝Ｖ（１，１）の関
係が成り立つとき、隣接する縦横２つのマクロブロック
（４個のマクロブック）が一つの領域として扱うことが
可能であり、一つの動きパラメータ（動きベクトル）で
代表できる。この場合に、従来方式では、各マクロブロ
ックにおける動きベクトルＶ（０，０），Ｖ（１，
０），Ｖ（０，１），Ｖ（１，１）をそれぞれ重複して
符号化・伝送する必要があったが、本発明によると、１
回の符号化・伝送を行うだけでよくなる。

【００４１】この領域統合を用いる場合に、復号化装置
における動きベクトル補間部３８（図３，参照）では、
Ｖ（０，０）の動きベクトルからＶ（１，０），Ｖ
（０，１），Ｖ（１，１）を補間して出力することにな
る。ケース２，ケース３，ケース４の場合も同様に、Ｐ
（０，０）の位置の動きベクトルＶ（０，０）で縦横３
つのマクロブロック、縦２つのマクロブロック，横２つ
のマクロブロックの動きベクトルを代表することが可能
となる。

【００４２】次に、図５のアフィン変換の場合の領域統
合について説明する。アフィン変換を用いる場合、通
常，各マクロブロックを２つの三角形に分割し、それぞ
れの三角形の頂点の位置と動きベクトルよりアフィンパ
ラメータを求めることにより変換が行われ、予測画像が
生成される。

【００４３】ケース１の場合、Ｐ（０，０），Ｐ（０，
１），Ｐ（１，０）とＰ（１，０），Ｐ（０，１），Ｐ
（１，１）、Ｐ（１，０），Ｐ（２，０），Ｐ（１，
１）とＰ（２，０），Ｐ（１，１），Ｐ（２，１）、Ｐ
（０，１），Ｐ（１，１），Ｐ（０，２）とＰ（１，
１），Ｐ（０，２），Ｐ（１，２）、Ｐ（１，１），Ｐ
（２，１），Ｐ（１，２）とＰ（２，１），Ｐ（１，
２），Ｐ（２，２）の計８つの三角形に分割され、それ
ぞれの三角形に対応してアフィンパラメータが計算され
る。これら８つの三角形のアフィンパラメータが同一で
あった場合には、縦横２つのマクロブロック（４個のマ
クロブロック）が一つの領域として扱うことが可能であ
り、Ｐ（０，０），Ｐ（２，０），Ｐ（０，２）とＰ
（２，０），Ｐ（０，２），Ｐ（２，２）の２つの三角
形としてアフィン変換を行うことが可能となる。

【００４４】この場合、従来方式では、８つの三角形の
動きベクトルＶ（０，０），Ｖ（１，０），Ｖ（２，
０），Ｖ（０，１），Ｖ（１，１），Ｖ（２，１），Ｖ
（０，２），Ｖ（１，２），Ｖ（２，２）の９つの動き
ベクトルを符号化・伝送する必要があったが、本発明で
は、Ｖ（０，０），Ｖ（２，０），Ｖ（０，２），Ｖ
（２，２）の４つを符号化・伝送するだけでよくなる。
復号化装置における動きベクトル補間部３８（図３，参
照）では、Ｖ（０，０），Ｖ（２，０），Ｖ（０，
２），Ｖ（２，２）の４つの動きベクトルから、アフィ
ンパラメータを求め、アフィンパラメータと位置から、
Ｖ（０，０），Ｖ（１，０），Ｖ（２，０），Ｖ（０，
１），Ｖ（１，１），Ｖ（２，１），Ｖ（０，２），Ｖ
（１，２），Ｖ（２，２）の９つの動きベクトルを補間
して出力することになる。

【００４５】ケース２，ケース３，ケース４の場合も同
様に、Ｖ（０，０），Ｖ（３，０），Ｖ（０，３）とＶ
（３，０），Ｖ（０，３），Ｖ（３，３）の２つの三角
形で縦横３つのマクロブロック、Ｖ（０，０），Ｖ
（１，０），Ｖ（０，２）とＶ（１，０），Ｖ（０，
２），Ｖ（１，２）で縦２つのマクロブロック、Ｖ
（０，０），Ｖ（２，０），Ｖ（０，１）とＶ（２，
０），Ｖ（０，１），Ｖ（２，１）で横２つのマクロブ
ロックの動きパラメータを代表することが可能となる。
アフィン変換の場合には、式（２）が成立するとき、対
応する処理単位領域を一つの領域として取り扱うことが
可能である。

【００４６】次に、図６の双一次変換の場合の領域統合
について説明する。双一次変換を用いる場合、通常、各
マクロブロックの４隅の動きベクトルを用いて変換が行
われ、予測画像が生成される。ケース１の場合、Ｖ
（０，０），Ｖ（１，０），Ｖ（２，０），Ｖ（０，
１），Ｖ（１，１），Ｖ（２，１），Ｖ（０，２），Ｖ
（１，２），Ｖ（２，２）が用いられるが、Ｖ（０，
０），Ｖ（１，１），Ｖ（２，２）、Ｖ（０，０），Ｖ
（１，０），Ｖ（２，０）、Ｖ（０，１），Ｖ（１，
１），Ｖ（２，１）、Ｖ（０，２），Ｖ（１，２），Ｖ
（２，２）、Ｖ（０，０），Ｖ（０，１），Ｖ（０，
２）、Ｖ（１，０），Ｖ（１，１），Ｖ（１，２）、Ｖ
（２，０），Ｖ（２，１），Ｖ（２，２）が線形関係に
あった場合、Ｖ（０，０），Ｖ（２，０），Ｖ（０，
２），Ｖ（２，２）の４つの動きベクトルから双一次変
換を行うことが可能となる。復号化装置における動きベ
クトル補間部３８（図３，参照）では、Ｖ（０，０），
Ｖ（２，０），Ｖ（０，２），Ｖ（２，２）の４つの動
きベクトルからＶ（１，０），Ｖ（０，１），Ｖ（１，
１），Ｖ（２，１），Ｖ（１，２）の５つの動きベクト
ルを補間して出力することになる。

【００４７】ケース２，ケース３，ケース４の場合も同
様に、Ｖ（０，０），Ｖ（３，０），Ｖ（０，３），Ｖ
（３，３）で縦横３つのマクロブロック、Ｖ（０，
０），Ｖ（１，０），Ｖ（０，２），Ｖ（１，２）で縦
２つのマクロブロック、Ｖ（０，０），Ｖ（２，０），
Ｖ（０，１），Ｖ（２，１）で横２つのマクロブロック
の動きパラメータを代表することが可能となる。

【００４８】続いて、処理領域単位として大きさの異な
る複数の処理単位を用いる場合の実施形態で、以下の例
では、通常の処理領域単位とそれをさらに分割した小領
域を複数の処理単位として用いる例が示される。図１１
は、この実施形態により行われる処理を説明するための
概念図で、動画像符号化装置における予測部１〜ｎ（３
２ａ〜３２ｎ）、領域予測決定部３３，予測領域統合決
定部３４および動画像復号化装置における予測部１〜ｎ
（３７ａ〜３７ｎ）において、処理領域単位の小領域分
割を行う場合に関して示される同図を用いて以下にその
処理について説明する。図１１では、被写体である人物
が手前に移動しており、背景の部分は、向かって右上方
向に移動している場合を例に挙げている。本来、処理領
域単位とは、動画像符号化・復号化処理の簡便さなどか
ら便宜上設定されているため、実際の被写体の形状など
は考慮されていない。そのため、処理領域単位がマクロ
ブロックなどの単位である場合、図１１（Ａ）に示され
るように、処理領域単位の領域統合方式にあるように被
写体と処理領域単位との境界が一致せず、被写体の形状
が反映されないことがあった。

【００４９】本発明では、動画像符号化装置における予
測部１〜ｎ（３２ａ〜３２ｎ）において、このような被
写体と処理領域単位との境界の不一致を軽減するため、
処理領域単位を更に小領域に分割する手法を用いる。図
１１（Ｂ）に示されるように、小領域分割による予測方
式によると、平行移動予測による領域（白で示された領
域）、双線形（多一次）補間予測による領域（濃いグレ
ーで示された領域および薄いグレーで示された領域）に
なる。ここで、小領域に分割されることにより動きベク
トルが増加していることが分かる。更に、動画像符号化
装置における領域予測決定部３３および予測領域統合決
定部３４において、領域統合すなわち同じ動きパラメー
タ，予測モードを持つ処理単位領域および分割された小
領域同士を統合する。図１１（Ｃ）にその小領域統合を
用いた結果が示されるように、背景領域，境界領域，被
写体領域に領域統合される。また、領域統合を行うこと
により、各統合領域の動きパラメータを表現するための
動きベクトルのみが必要となるため、符号化・伝送する
動きベクトル数が減少することが分かる。一方、動画像
復号化装置における予測部１〜ｎ（３７ａ〜３７ｎ）で
は、サイド情報復号化部３６より入力されたサイド情報
とフレームメモリ部２４より入力された参照画像フレー
ムより、各領域（背景領域，境界領域，被写体領域）に
適用された予測モード，動きパラメータより動き補償フ
レーム間予測を用いて予測画像を生成し、出力する。

【００５０】

【発明の効果】請求項１に対応する効果：隣接する処理
単位領域において同一のサイド情報或いは予測結果、例
えばその１つである予測モードや動きパラメータとして
同じ値が検出された場合、これらの処理単位領域を一つ
の処理領域として扱うことが可能となり、領域の動きを
表現するためのサイド情報（領域情報，予測モード，動
きベクトルなど）の符号量を減少させることが可能とな
る。更に、同一の動きをしていると思われる領域全体で
同じ予測モードおよび／または動きパラメータを用いて
動き補償フレーム間予測を行うことになるため、同一の
動き領域全体での予測効率が向上し、最適な予測結果が
得られることになる。

【００５１】請求項２に対応する効果：請求項１の効果
に加えて、領域統合処理を予測モード情報の一致で判断
することに限定したことにより、同一の動きをしている
と思われる領域全体で同じ予測モードを用いて動き補償
フレーム間予測を行うことになるため、同一の動き領域
全体での予測効率が向上し、良好な予測結果が得られる
ことになるとともに、その処理を簡単に行うことが可能
となる。

【００５２】請求項３に対応する効果：請求項２の効果
に加えて、領域統合処理の予測モードとして平行移動と
いう具体的なモードを設定することにより同一の動きと
して平行移動を行っていると思われる領域全体で同じ予
測モードを用いて動き補償フレーム間予測を行うことに
なるため、同一の動き領域全体での予測効率が向上し、
良好な予測結果が得られることになる。

【００５３】請求項４に対応する効果：請求項２又は３
の効果に加えて、さらに、領域統合処理の予測モードと
して双一次変換という具体的なモードを設定することに
より同一の動きとして双一次変換に合う動きを行ってい
ると思われる領域全体で同じ予測モードを用いて動き補
償フレーム間予測を行うことになるため、同一の動き領
域全体での予測効率が向上し、良好な予測結果が得られ
ることになる。

【００５４】請求項５に対応する効果：請求項２および
３の効果に加えて、領域統合処理の予測モードとしてア
フィン変換という具体的なモードを設定することにより
同一の動きとしてアフィン変換に合う動きを行っている
と思われる領域全体で同じ予測モードを用いて動き補償
フレーム間予測を行うことになるため、同一の動き領域
全体での予測効率が向上し、良好な予測結果が得られる
ことになる。

【００５５】請求項６に対応する効果：請求項１ないし
５の効果に加えて、例えば、背景と人物のように異なる
動きをすることが考えられる被写体の境界に関し、より
小さい処理単位領域を用いることにより、被写体の境界
と処理単位領域との境界がより近くなり、境界における
予測方式の使用がより適切になって予測効率が向上し、
良好な画像を得るための符号化が行われることになる。

【００５６】請求項７に対応する効果：隣接する処理単
位領域において同一のサイド情報、例えばその１つであ
る予測モードや動きパラメータを採用したことにより、
これらの処理単位領域を一つの処理領域として扱うこと
が可能となり、領域の動きを表現するためのサイド情報
（領域情報，予測モード，動きベクトルなど）の符号量
を減少させ、それに伴う復号化処理を減らすことが可能
となる。更に、同一の動きをしていると思われる領域全
体で同じ予測モードおよび／または動きパラメータを用
いて動き補償フレーム間予測を行うことになるため、同
一の動き領域全体での予測効率が向上し、最適な予測結
果が得られることになる。

【００５７】請求項８に対応する効果：隣接する処理単
位領域において同一のサイド情報、例えばその１つであ
る予測モードを採用したことにより、これらの処理単位
領域を一つの処理領域として扱うことが可能となり、領
域の動きを表現するためのサイド情報（領域情報，予測
モード，動きベクトルなど）の符号量を減少させ、それ
に伴い復号化処理を減らすことが可能となる。更に、同
一の動きをしていると思われる領域全体で同じ予測モー
ド及び各処理領域に補間動きパラメータを用いて動き補
償フレーム間予測を行うことになるため、同一の動き領
域全体での予測効率が向上し、最適な予測結果が得られ
ることになる。

【００５８】請求項９に対応する効果：請求項７および
８の効果に加えて、領域統合処理が予測モード情報の一
致で判断された場合に限定することにより、同一の動き
をしていると思われる領域全体で同じ予測モードを用い
て動き補償フレーム間予測を行うことになるため、同一
の動き領域全体での予測効率が向上し、良好な予測結果
が得られることになるとともに、その処理を簡単に行う
ことが可能となる。

【００５９】請求項１０に対応する効果：請求項９の効
果に加えて、領域統合処理の予測モードとして平行移動
という具体的なモードが設定されたことにより、同一の
動きとして平行移動を行っていると思われる領域全体で
同じ予測モードを用いて動き補償フレーム間予測を行う
ことになるため、同一の動き領域全体での予測効率が向
上し、良好な予測結果が得られることになる。

【００６０】請求項１１に対応する効果：請求項９およ
び１０の効果に加えて、さらに、領域統合処理の予測モ
ードとして双一次変換という具体的なモードが設定され
たことにより、同一の動きとして双一次変換に合う動き
を行っていると思われる領域全体で同じ予測モードを用
いて動き補償フレーム間予測を行うことになるため、同
一の動き領域全体での予測効率が向上し、良好な予測結
果が得られることになる。

【００６１】請求項１２に対応する効果：請求項９およ
び１０の効果に加えて、さらに、領域統合処理の予測モ
ードとしてアフィン変換という具体的なモードが設定さ
れたことにより、同一の動きとしてアフィン変換に合う
動きを行っていると思われる領域全体で同じ予測モード
を用いて動き補償フレーム間予測を行うことになるた
め、同一の動き領域全体での予測効率が向上し、良好な
予測結果が得られることになる。

【００６２】請求項１３に対応する効果：請求項７ない
し１２の効果に加えて、例えば、背景と人物のように異
なる動きをすることが考えられる被写体の境界に関し、
より小さい処理単位領域を用いることにより、被写体の
境界と処理単位領域との境界をより近くした処理単位を
部分的に用いた符号化信号をこの符号化処理方式に対応
した復号を行うことにより、適切な予測結果を反映した
復号を行い、さらに良好な画像を得ることができる。

【図面の簡単な説明】

【図１】本発明による動画像符号化装置における動き補
償フレーム間予測部１７の構成を示すブロック図であ
る。

【図２】本発明による動画像復号化装置の動き補償フレ
ーム間予測部の実施形態の一例を示すブロック図であ
る。

【図３】本発明による動画像復号化装置の動き補償フレ
ーム間予測部の実施形態の他の例を示すブロック図であ
る。

【図４】予測モードがブロックの平行移動の場合の領域
統合の概念及び動きベクトルの処理を説明する図であ
る。

【図５】予測モードがアフィン変換の場合の領域統合の
概念及び動きベクトルの処理を説明する図である。

【図６】予測モードが双一次変換の場合の領域統合の概
念及び動きベクトルの処理を説明する図である。

【図７】本発明及び従来技術に共通する動画像符号化装
置の基本構成の一例を示すブロック図である。

【図８】従来の動画像符号化装置（図７，参照）の動き
補償フレーム間予測部の構成の一例を示すブロック図で
ある。

【図９】本発明及び従来技術に共通する動画像復号化装
置の基本構成の一例を示すブロック図である。

【図１０】従来の動画像復号化装置（図９，参照）の動
き補償フレーム間予測部の構成の一例を示すブロック図
である。

【図１１】本発明において、処理領域単位としてさらに
小領域を付加した方式により行われる処理の実施形態を
説明するための概念図である。

【符号の説明】

１１…減算部、１２…画像符号化部、１３…符号化制御
部、１４，２１…画像復号化部、１５，２２…加算部、
１６，２４…フレームメモリ部、１７，１７′，２３，
２３′，２３（Ｉ），２３（II）…動き補償フレーム間
予測部、３１，５１…動きベクトル探索部、３２ａ〜３
２ｎ，３７ａ〜３７ｎ，５２ａ〜５２ｎ，５６ａ〜５６
ｎ…予測部１〜ｎ、３３，５３…領域予測決定部、３４
…予測領域統合決定部、３５，５４…サイド情報符号化
部、３６，５５…サイド情報復号化部、３８…ベクトル
補間部、３９，５７…領域予測選択部。

Claims (13)

【特許請求の範囲】
1. 【請求項１】 動き補償フレーム間予測を行い、該予測
   により得た予測画像フレームと予測対象としての入力画
   像フレームとの間の予測誤差情報及び前記予測に用いた
   予測サイド情報を符号化する動画像符号化装置におい
   て、前記動き補償フレーム間予測の処理単位となる画像
   領域毎に異なる予測方式を用いて複数の予測画像を生成
   し出力する予測部と、該予測部からの複数の予測画像よ
   り最適な予測方式を決定し、該決定に関わる領域情報，
   予測モード情報及び動きベクトルなどからなる前記予測
   サイド情報を出力する領域予測決定部と、該領域予測決
   定部からの前記予測サイド情報，入力画像情報及び予測
   画像情報にもとづき隣接する前記予測処理単位画像領域
   同士の領域統合を行い、該領域統合情報を付加した前記
   サイド情報を出力するとともに該サイド情報により前記
   予測画像を生成する予測領域統合決定部とを備えるよう
   にしたことを特徴とする動画像符号化装置。
2. 【請求項２】 前記予測領域統合決定部は、前記領域予
   測決定部から出力される予測モード情報が一致する場合
   に、隣接する前記予測処理単位画像領域同士の領域統合
   を行うようにしたことを特徴とする請求項１記載の動画
   像符号化装置。
3. 【請求項３】 前記一致する予測モード情報として平行
   移動を設定するようにしたことを特徴する請求項２記載
   の動画像符号化装置。
4. 【請求項４】 前記一致する予測モード情報として双一
   次変換を設定するようにしたことを特徴とする請求項２
   又は３記載の動画像符号化装置。
5. 【請求項５】 前記一致する予測モード情報としてアフ
   ィン変換を設定するようにしたことを特徴とする請求項
   ２又は３記載の動画像符号化装置。
6. 【請求項６】 前記処理単位となる画像領域として前記
   予測方式を共通に用い得るが領域単位の大きさを異にす
   る複数の処理単位を使用し、該複数の処理単位を組合わ
   せて前記入力画像フレーム全体の符号化を行う方式と
   し、この方式に対応して前記予測部，前記領域予測決定
   部及び前記予測領域統合決定部を構成するようにしたこ
   とを特徴とする請求項１ないし５いずれか記載の動画像
   符号化装置。
7. 【請求項７】 動き補償フレーム間予測方式による符号
   化画像情報及び符号化予測サイド情報を復号化する動画
   像復号化装置において、符号化予測サイド情報を復号化
   し、予測の処理単位となる画像に関わる領域情報，予測
   モード情報，動きベクトル及び領域統合情報などからな
   る予測サイド情報を復号し、該予測サイド情報を出力す
   るとともに、予測モード選択信号を出力する予測サイド
   情報復号化部と、復号された前記予測サイド情報及び前
   記予測モード選択信号より指示された予測方式を用いて
   予測画像を生成する予測部と、該予測部より出力された
   予測画像を前記予測モード選択信号により切り替えて出
   力するようにしたことを特徴とする動画像復号化装置。
8. 【請求項８】 動き補償フレーム間予測方式による符号
   化画像情報及び符号化予測サイド情報を復号化する動画
   像復号化装置において、符号化予測サイド情報を復号化
   し、予測の処理単位となる画像に関わる領域情報，予測
   モード情報，動きベクトル及び領域統合情報などからな
   る予測サイド情報を復号し、該予測サイド情報を出力す
   るとともに、予測モード選択信号を出力する予測サイド
   情報復号化部と、復号された前記予測サイド情報より動
   きベクトルを補間して該予測サイド情報に付加して出力
   する動きベクトル補間部と、該動きベクトル補間部から
   の予測サイド情報及び前記予測モード選択信号より指示
   された予測方式を用いて予測画像を生成する予測部と、
   該予測部より出力された予測画像を前記予測モード選択
   信号により切り替えて出力するようにしたことを特徴と
   する動画像復号化装置。
9. 【請求項９】 前記領域統合情報として隣接する前記予
   測処理単位領域画像領域同士の予測モード情報の一致を
   表わす情報が用いられている場合に、前記予測モードの
   一致情報に応じて動作するように構成したことを特徴と
   する請求項７又は８記載の動画像復号化装置。
10. 【請求項１０】 前記一致する予測モード情報として平
    行移動が設定されていることに対応して構成されること
    を特徴とする請求項９記載の動画像復号化装置。
11. 【請求項１１】 前記一致する予測モード情報としてア
    フィン変換が設定されていることに対応して構成される
    ことを特徴とする請求項９又は１０記載の動画像復号化
    装置。
12. 【請求項１２】 前記一致する予測モード情報として双
    一次変換が設定されていることに対応して構成されるこ
    とを特徴とする請求項９又は１０記載の動画像復号化装
    置。
13. 【請求項１３】 前記処理単位となる画像領域として前
    記予測方式を共通に用い得るが領域単位の大きさを異に
    する複数の処理単位を使用し、該複数の処理単位を組合
    わせて前記入力画像フレーム全体の符号化を行う方式と
    したことに対応して前記予測サイド情報復号化部及び前
    記予測部を構成するようにしたことを特徴とする請求項
    ７ないし１２いずれか記載の動画像復号化装置。