JPH0779437A - 動画像の階層的動き補償方法及び動きベクトルの内挿予測方法 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、六角形の頂点の動きベクトルで行う
動き補償方法において階層的な取扱い方法を提供する。 【構成】本発明は、六角形を構成する頂点の一部を選択
して構成した大六角形を用いて動き補償及び動きベクト
ルの内挿予測を行う。 【効果】発明の構成によれば、符号の一部分から上位階
層の符号を取り出すことにより小画面再生が可能にな
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像の符号化装置や
伝送装置において利用される動き補償方法及び動きベク
トルの内挿予測方法に関し、特にアナログの電話回線で
も伝送できるほどに小さな画面を高能率に圧縮する必要
のある場合に適する動画像の階層的動き補償方法及び動
きベクトルの内挿予測方法に関する。

【０００２】

【従来の技術】従来、三角形パッチを用いた超低ビット
レートの動画像符号化技術が提案されている（例えば画
像符号化シンポジウム（ＰＣＳＪ）資料、１９９２年、
１２９頁、「動画像の１６ｋｂ／ｓ符号化」）。これは
画像中に三角形パッチを設定し、三角形の各頂点を変位
させ、時刻の古い画像と時刻の新しい画像間で対応する
三角形間の写像をアフィン変換で行うことにより、低ビ
ットレートであっても予測性能の優れた動き補償を可能
にしたものである。

【０００３】出願人はさらに高性能な動き補償を可能に
するために特願平５−１６５４８３において、パッチ形
状を六角形にし、その頂点における動きベクトルを伝送
することにより、画面中に配置する頂点数を少なくして
も優れた性能の動き補償を可能にした動き補償回路を提
案した。これは頂点数が少ない場合でも六角形パッチは
広い範囲の動き補償を実行できることに着眼したもので
あり、その動き補償を実行する回路は、六角形の６個の
頂点における動きベクトルを六角形内部の各画素におい
て予め定めておいた合成割合を用いて、一次結合により
合成して各画素の動きベクトルを求めるように動作する
ものである。

【０００４】また従来、スケーラビリティ機能を実現す
る方法が提案されている（例えば画像符号化シンポジウ
ム（ＰＣＳＪ）資料、１９９２年、１６５頁、「動画像
符号化におけるスケーラビリティに関する研究」）。ス
ケーラビリティとは、解像度の異なる複数の画面や、あ
るいは大きさの異なる複数の画面を階層的に統一して扱
うための機能である。つまり符号量を段階的に増やすに
従って画質も段階的に向上するといった性質を可能にす
る機能である。この実現方法の一つに空間スケーラビリ
ティがある。

【０００５】空間スケーラビリティは一枚の画像を解像
度とサイズの異なるピラミッド状の階層に分けて処理す
る方法であり、この方法により符号化した符号データか
らは、必要に応じたサイズまたは解像度の画面を少ない
処理で高速に再生できるという長所がある。また低解像
度階層では画面中の大きな物体の大まかな動きを検出で
き、高解像度階層においては局所的な判定しかできない
が画像の詳細を利用して高精度な動きが検出できる。こ
のため低解像度階層で求めた動きベクトルを高解像度階
層の動き探索に利用することで実際の動きに合った高精
度な動き探索が少ない処理で高速に可能になるという長
所がある。また動画像符号化で通常利用されるフレーム
間予測符号化以外に、階層間の相関を利用した階層間予
測符号化が可能になり、画像の性質に応じた符号化方法
の選択の種類が広がるという長所がある。

【０００６】

【発明が解決しようとする課題】ＴＶ電話の話者は複数
の人との通話を行うこともあるし、また何らかの作業を
画面上で行う必要が生じることもある。このため、任意
の時点で画面サイズを変えることができると非常に使い
勝手がよくなる。つまり現在注目している画面が一つだ
けならば比較的大きな画面として表示し、複数の画面を
見なければならない場合にはそれらが表示可能な大きさ
に縮小して表示するのである。こうした場合、従来例に
おいては符号化方法が階層化されていないために、一度
大きな画面を再生してからそれを縮小する必要があっ
た。この処理においては伝送している符号量に比べて実
際に利用される符号量が少ないという無駄が発生してい
ることになり、また処理にかかる時間や電力量も無駄に
なっていた。

【０００７】従来の空間スケーラビリティを用いた階層
符号化方式では、動きベクトルを求める代表画素が正方
格子状に配置されているために、画像の解像度変換を行
っても、適当に間引いて選択した代表画素は同一の処理
により動き補償を実行できるという性質があり、このた
め階層間での対応が単純になり、動きベクトルの階層間
予測が単純に実行できるという性質があった。しかし六
角形状に配置した場合にはこのような性質が成り立たな
いため、サイズと解像度の異なる画像を利用する際に、
新しい動き補償方法を考案する必要があった。

【０００８】

【課題を解決するための手段】本発明は、画面に配置し
た複数の同一形状の六角形の頂点の動きベクトルを利用
する動画像の動き補償方法であって、前記六角形に含ま
れる画素ごとに、その頂点の六つの動きベクトルを予め
定めた合成割合により一次結合して前記画素の動きベク
トルを求めて動き補償を行う処理と、前記頂点のうち前
記六角形よりも大きな大六角形を構成するように選択し
た一部の頂点の動きベクトルを用いて、大六角形内の画
素ごとに、前記大六角形の頂点の六つの動きベクトルを
予め定めた合成割合により一次結合して前記画素の動き
ベクトルを求めて動き補償を行う処理とを切り換えて実
行する動画像の階層的動き補償方法を提案する。

【０００９】さらに本発明は、画面に配置した複数の同
一形状の六角形の頂点の動きベクトルの内挿予測方法で
あって、前記頂点のうち前記六角形よりも大きな大六角
形を構成するように選択した一部の頂点の動きベクトル
を決定する処理と、選択されなかった頂点ごとに、それ
を含む大六角形を構成する頂点の六つの動きベクトルを
予め定めた合成割合により一次結合して前記選択されな
かった頂点の動きベクトルを求める処理とからなる動き
ベクトルの内挿予測方法を提案する。

【００１０】画面中に配置する動きベクトルを抽出する
点は、画像のどの部分も平等に扱うとすると、あるパタ
ーンに従って均等にそして必要最小限の点を配置する必
要がある。このパターンは四角形や三角形など種々の形
状と大きさのものを用いることができるが、本発明では
六角形であることを特徴としている。

【００１１】次に動きベクトルを説明する。順序の前と
後の連続した２枚の画像間では、時間間隔が十分短けれ
ば大きな変化が生じないために、画像中の物体において
対応する点が存在する。つまり物体上のその点は１フレ
ーム進行する間に、対応点に向かうベクトル分だけ移動
したことになる。こうした対応点は画面中に何かの物体
が写っているならば随所で定めることができる。但し、
画面に急激な変化が生じたり、物体の重なりのために生
成消滅が生じたときには対応点が無くなることがある。
動きベクトルとは画面中に任意に設定したある点におい
て求められる、こうした動きを表すベクトルのことであ
る。但し場合によっては対応点が存在しないことがあ
り、また実際の動きを少数の画素と少ない処理で求める
ことは困難であるため、実際には二つの画像間で相関が
高くなるような適当なベクトルとして求めたものを動き
ベクトルと呼ぶ。動画像の動き補償符号化においては二
つの画像間の相関をなるべく高くして、波形符号化で伝
送する符号量を減らすことを目的として動き補償を行う
ため、動きベクトルが実際の動きに合致しなくても十分
に目的を達成できる。

【００１２】動き補償とはこのような動きベクトルを用
いて、ベクトルの始点における順序の前の画像の画素値
を、ベクトルの終点における画素値とすることにより動
き予測画像を生成し、符号化しようとする順序の後の画
像との相関を増加させることである。符号化は動きベク
トルとこの相関を除去した残りについて行えばよいた
め、適切な動きベクトルを伝送すれば符号化効率が向上
する。合成割合とは六角形内における画素の相対位置に
より決まる値であり、その画素において各頂点の動きベ
クトルがどのくらいの影響を与えるかを表すものであ
る。動き補償を実行する際には、この合成割合により六
つの頂点の動きベクトルを一次結合して求めたベクトル
をその画素の動きベクトルとする。

【００１３】

【作用】本発明の動画像の階層的動き補償方法によれ
ば、画面中に配置した六角形の頂点の動きベクトルを予
め定めた合成割合により一次結合して前記画素の動きベ
クトルを求めて動き補償を行う処理と、大六角形を構成
する前記頂点の内の一部の頂点の動きベクトルを用い
て、大六角形内の画素ごとに、前記大六角形の頂点の六
つの動きベクトルを予め定めた合成割合により一次結合
して前記画素の動きベクトルを求めて動き補償を行う処
理が切り替えて実行される。

【００１４】また第２の発明である動きベクトルの内挿
予測方法によれば、第１の処理において大六角形を構成
する頂点において大六角形を構成する頂点における動き
ベクトルが求められる。この動きベクトルに基づいて、
第２の処理において選択されなかった頂点の動きベクト
ルを、その頂点を含む大六角形を構成する頂点の六つの
動きベクトルを予め定めた合成割合により一次結合して
求める処理が行われる。これにより大六角形を構成しな
い頂点においては動きベクトルの予測値が求められる。
画像中の移動物体の大きさに比べて六角形の大きさが十
分小さい場合には、頂点における動きベクトルの間に相
関が強くなるために、大六角形を構成する頂点の動きベ
クトルから、前記選択されなかった頂点の動きベクトル
を予測しても十分に正確な予測が可能になる。

【００１５】

【実施例】以下図面を用いて本発明の実施例を説明す
る。本発明は動画像の符号化装置や伝送装置において利
用される動き補償方法及び動きベクトルの内挿予測方法
であり、動画像は例えばＣＣＤ等の光電変換素子からの
電気信号をサンプリングして得たデジタルデータを用い
る。こうしたデータは一時的にフレームメモリに記憶さ
れ、本発明の動き補償方法を用いて符号化される。周知
のように動き補償符号化方法においては、既に伝送済み
の前のフレームとこれから伝送しようとする現在のフレ
ームとの間の相関を高めるために、画像中に配置された
代表画素の動きベクトルを探索し、符号化し、出力する
ことにより、代表画素でない画素における動き量につい
ても適当な方法で生成し、動き予測画像を生成する。つ
まり代表画素でない画素における動き量は、復号器へ伝
送する必要がなく代表画素の動きベクトルたちから作り
出すのである。この動き予測画像は現在のフレームとの
相関が高くなっているため、両者の差分の画像を波形符
号化することにより、動き補償を行わない場合よりも少
ない符号量で動画像を伝送することができる。つまり、
復号器側では、前のフレームと代表画素の動きベクトル
とから動き予測画像を生成し、これに差分画像を加算す
ることにより現在のフレームを再生するのである。

【００１６】このように動き補償が可能な理由は、動き
ベクトルの分布が物体の領域において相関を持っている
からである。よって代表画素の分布は画像中に現れる物
体の平均的な大きさに依存して決める必要がある。画面
中のどこに物体が現れるのかを事前に仮定しない場合
は、確率的に物体がどこに現れても動きを捕捉できるよ
うに均等に分散させて代表画素を配置することになる。
またＴＶ電話においては顔や手がよく動くものであるか
ら、これらの映像中の大きさ程度に代表画素を細かく配
置する必要がある。代表画素は画像中に適当に分散させ
て配置すればよいのであるが、本発明では動き補償の方
法が六角形を単位に行われるために、画像を覆うように
配置した複数の同一形状の六角形を想定し、六角形の各
頂点に代表画素を置いたことを特徴としている。無限に
広がる平面を正ｎ角形で埋め尽くすためにはｎは３、
４、６の場合があり得るが、図形一つあたりの面積を同
じにしたときに正六角形は境界線の長さを最も小さくで
きる埋め尽くしパターンである。このため頂点に代表画
素を置いたときに頂点間の間隔は短いが、六角形内部に
大きな面積を囲み込むことができるため、少ない頂点で
大きな画面の動き補償が可能になるのである。

【００１７】代表画素の動きベクトルは２枚の画像間の
差分を減らすように符号化器において探索によって求め
る。動きベクトルは一つの代表画素において定まるので
あるが、探索する場合には画素ごとの比較では信頼性の
ある結果が得られない。これは一画素のみの比較によっ
て得られる情報は、画像信号中に含まれるノイズの影響
で意味が無くなってしまうからである。このため周知の
ブロックマッチング法のように、注目している点の周り
の一定の領域において動き補償を行い、領域の合致度を
測定することにより、動きベクトル探索の信頼性を高め
る必要がある。そして試行錯誤で種々の動きを設定して
評価を行い、最も合致した場合のベクトルを動きベクト
ルとすればよいのである。つまり動きを探索する処理と
は、試行錯誤による動きベクトルの設定と、それによる
注目点付近の領域の動き補償の実行と、動き補償を行っ
た画像の部分と被予測画像の対応部分との合致度を測る
という一連の処理のことである。

【００１８】このように限られた処理によって求めなけ
ればならないため、動きベクトルは必ずしも実際の動き
を正確に表していなくてもよい。というのは、現実的な
時間内に処理可能な方法で実際の動きを正確に求めるの
は困難であり、また、動き補償によって波形符号化によ
り伝送する符号量が減少しさえすれば動き補償の目的が
達成されるからである。

【００１９】次に六角形を用いた動き補償について次に
説明をする。六角形内の各画素における動きは６つの頂
点の動きベクトルの適当な一次結合で内挿する。この場
合の合成割合は各画素の位置に応じて定められる６次元
ベクトルである。この６次元ベクトルは六角形内に含ま
れる画素の数だけ予め求められ記憶されている。この合
成割合を決める方法は、なるべく画像が自然に歪むよう
なものでなければならない。

【００２０】この合成割合は例えば有限要素法によって
定めることができる。２次元ポテンシャル問題を有限要
素法を用いて解くことにし、ポテンシャル値φを影響係
数とする。頂点を指定する添え字を０から５とし、頂点
０の影響を求めることにすると、例えば次の様な境界条
件を仮定して解けばよい。すなわち頂点０のφ値を１と
する。頂点１から５のφ値は０とし、その間の六角形の
辺上のφ値も０とする。頂点０につながる二つの辺上に
おいては頂点０のφ値である１と頂点１（あるいは５）
のφ値である０の間の値を線形内挿により定めればよ
い。この境界条件のもとで有限要素法により２次元ポテ
ンシャル問題を解くことができ、その結果から六角形内
の各点におけるポテンシャル値を求めることができる。
頂点１から５に対して、その影響係数も同様にして求め
ることができ、これらをｒ０からｒ５とする。すると合
成の割合は、六角形内の各点においてφ値を求めこれを
影響係数ｒ０からｒ５として求めることができる。この
他にも境界条件として、その他の節点のφ値を指定する
ことにより所望の特性のポテンシャル分布を作ることが
でき、これをもとに種々の合成の割合を定めることがで
きる。有限要素法により定める方法はポテンシャル場に
従うというモデルがはっきりしていて分かりやすいが、
メッシュの生成やデータ処理の手間がかかるために画像
符号化と合成割合の算出とは別々に行うようになる。

【００２１】以下に示す方法はもっと簡易に合成割合を
算出するために、予め結果を記憶しておかなくても画像
符号化時に合成割合を計算し、ＲＡＭに記憶することも
可能になる。その方法は一つの頂点の影響が及ぶ範囲を
関数で表し、六つの頂点の関数値を総和が１になるよう
に正規化することにより合成割合を求める方法である。
影響度を表す関数として正規分布状の関数ｅｘｐ（−
（ｘ／σ）² ）を用い、頂点と評価点との距離をｘに代
入して得られる値を影響係数Ｅｉとする。ただしｉは頂
点を識別する添え字で０から５の値をとるものとする。
合成の割合は、各評価点においてＥｉ／ｓｕｍを求める
ことにより定める。ただしｓｕｍはＥｉのｉ＝０から５
の総和である。この合成割合を各評価点ごとに予め求
め、６次元ベクトル記憶部に記憶しておけばよい。正規
分布状の上記関数のパラメータであるσは六角形の一辺
の５０％から９０％ぐらいの範囲から選べばよい。ただ
し、σが小さすぎると合成の効果が弱まるため各頂点の
回りに三角形のブロック歪が表れ、σが大きすぎると平
均化されすぎるため頂点の変位ベクトルの影響が希薄に
なってしまう。

【００２２】図１は本発明の第１実施例を示すフローチ
ャートである。これは必要に応じて階層を変えて行うこ
とのできる階層的動き補償方法である。処理を始めると
判定処理２において上位階層のみによる再生を行うか否
かを判定する。これは例えばユーザーからの指示のイベ
ントが到着しているかどうかを調べる。この結果が肯定
であれば、処理４において上位階層に属する一部の頂点
の動きベクトルを用いて大六角形を処理単位にして動き
補償が実行される。また判定処理部２の結果が否定であ
れば、処理６において下位階層の頂点の動きベクトルを
用いて小六角形を処理単位にして動き補償を実行する。
このように、上位階層のみの動き補償と、上位階層に下
位階層の頂点の動きベクトルを加えた動き補償とが、切
り換えて実行できる。

【００２３】本実施例によれば画面サイズの変更といっ
た状況を予め考慮して、符号化の方法を階層的にするこ
とにより符号量や処理の無駄の発生を抑えることができ
る。つまり小画面再生時においては大画面再生にのみ必
要な符号は切り捨てることにより、伝送符号量を適切に
調節することができる。あるいはまた再生器側では画面
を縮小するという要求が生じると、符号中の小画面再生
に関わる部分のみを処理すればよいため、適切に負荷を
軽くすることができるのである。

【００２４】次に本発明の特徴である画像の階層につい
て説明する。一枚の画像があるとそれをエイリアジング
が激しくならないようにフイルタをかけながらサイズを
縮小する。この縮小画像をさらに同様に縮小してさらに
小さな画像を作ることができる。このように同じ絵を表
しているが、画像のサイズと含まれる空間周波数を変え
た画像の組を階層という。本明細書においては原画像を
最下位階層とし第０階層に設定する。これから順に縮小
していった画像は順に第１階層、第２階層等とする。そ
して最も小さい画像を最上位階層と呼ぶことにする。図
式的に言えば、画像の階層はピラミッド状の関係を作
り、ピラミッドの最下部が原画像であり最下位階層であ
る。またピラミッドの頂上が最上位階層である。この状
況を図７に示す。上位階層における代表画素が作るパッ
チは対応する画素を下位階層中に描けば、下位階層の六
角形パッチよりも大きな六角形パッチを作るのである。
つまり小さな格子構造をつくる代表画素の一部を取り出
すと大きな格子構造を作るという性質が必要であり、そ
の大きさの比で画像の解像度変換を行えばどの階層のパ
ッチも同じ大きさになるのである。こうした性質を持っ
ていれば代表画素の中から一部分を取り出すと低解像度
階層の画像に対する動き補償が可能であり、これらはま
た高解像度階層においても代表画素であるためどちらに
対しても利用でき、無駄が無いのである。

【００２５】従来例の空間スケーラビリティは縦横とも
２倍の比で縮小拡大されるがこのとき代表画素について
も２倍に拡大した先の画素はまたやはりちょうど代表画
素になっている。本発明では六角形の頂点に代表画素を
配置することを特徴としており、階層的な配置を実現す
る方法を以下に説明する。ある代表画素をＸとし、Ｘか
ら最も近い代表画素へ向かう基本ベクトルをＶとする
と、これを回転したベクトルを用いて六角形を構成する
代表画素の座標は次のように表される。但し始点Ｘの位
置ベクトルをＶｘと表し、ベクトルを角度θだけ回転さ
せる演算子をＲｏｔ（θ）と表し、関係式 Ｒｏｔ
（θ）＋Ｒｏｔ（θ＋180 ）＝０を用いた。

【００２６】

【数１】

【００２７】これらはＶを選ぶときにＸに最も近い隣接
代表画素へのベクトルとして選んだために、最下位階層
が作る最も小さな六角形パッチである。次に基本ベクト
ルＶを別の格子点にとることにより、より大きな六角形
を指定することができる。つまり上記のベクトルＶのか
わりに別の格子点を指定するベクトルをＶとして数１の
６つの式に代入して、得られる６つの点はまた六角形格
子を作る。

【００２８】図８は最下位階層における基本ベクトルと
してＶ（１，０）を用い、その上に存在する上位階層上
の六角形格子の基本ベクトルＶ（ｘ，ｙ）と、そのベク
トルの長さ（六角形の一辺の長さ）を記したものであ
る。これらのベクトルは最小の六角形パッチにおける頂
点上に必ずのっており、これらの位置関係を図９に示
す。ただし、対称性を考慮して６０度の角度範囲のみに
ついて考慮すればよい。また図９中の点に付けた番号は
図８の表に示した番号である。これらの代表例として表
中の番号１、２、３の場合のパッチの様子を図１０に示
す。

【００２９】図９に示すようにいくらでも大きな頂点が
存在するためにいくらでも大きな上位階層パッチを定め
ることができる。しかし、ある階層からすぐ上位の階層
に対応を付けるときには、適当なスケールの変換を伴う
ことが好ましい。つまり階層性を多重にした場合に、ス
ケールの変換が大きすぎるとすぐに画面内に入る六角形
の数が少なくなってしまい、被写体の階層的特徴を利用
できなくなってしまうからである。図８の表中では番号
２で表された最も小さな上位階層パッチが有用である。
番号２で表された方法による３階層の場合の、頂点の配
置例を図１１に示す。この場合、階層を一つ下がると、
一つの六角形の中に３つの六角形ができる。このため頂
点数としては、上位階層に比べて下位階層では３倍の頂
点数を必要とする。但し、上位階層に属する頂点は下位
階層にも属するから、上位階層の頂点数をｎとすると２
ｎ個の頂点をつけ加えることにより下位階層のパッチを
作ることができる。具体的には六角形１つあたり２個の
頂点が属していると数えるとブロック数×２で頂点数を
見積もることができる。

【００３０】図１２の表は３の指数であるｎとブロック
数、頂点数、及び、頂点数の各階層への分解を示してい
る。但し頂点数はブロック数の２倍として求めてある。
つまり最上位階層のブロック数を９として、中間階層の
ブロック数は２７、最下位階層のブロック数は８１とな
る。そして、最下位階層の頂点数１６２のうち最上位階
層に１８個、中間階層に３６個、最下位階層には１０８
個の頂点を割り当てればよいのである。つまり最上位階
層に属する１８個の頂点は中間階層と最下位階層におい
てもやはり六角形格子を作る頂点となり、中間階層に属
する１８＋３６個の頂点は最下位階層においてもやはり
頂点となるのである。ＴＶ電話を前提としたＱＣＩＦ程
度の画面では頂点の総数は１００程度が適当であるか
ら、１６２の分解、すなわち１６２＝１８＋３６＋１０
８が適当である。但し、実際には画面の端の存在のため
にもう少し多くの頂点が必要になる。

【００３１】図１１に示す実際の例に比べると頂点数は
ほぼ合っているが対応するブロック数はあまり合ってい
ない。すなわち図１２の表ではブロック数が最上位層で
９、中間階層で２７、最下位階層でで８１であるのに対
し、実際の例によるとブロック数は最上位層で４、中間
層で１６、最下位層で６０である。このようにブロック
数が３倍に増えていないのは画面の端にブロックを補充
しているからである。実際の例では画面全体の形状を整
えるために長方形の隅には必要に応じてブロックを足す
必要があるのである。

【００３２】このような見積の誤差の原因は次のような
ことのためである。すなわちブロック一つあたり２個の
頂点が存在するという計算は、画面が無限に広い場合に
成り立つ。正六角形の一つの頂点の角度は２π／３であ
るからそこに存在する頂点のうち１／３がその六角形に
属すると数えると、一つの六角形には１／３×６＝２個
の頂点が属していると、数えることができるのである。
実際は画面は有限であり、端に位置するブロックには１
個余計に加えて３個の頂点が属すると数えることができ
る。但し４隅の影響は無視する。これを説明する図を図
１３に示す。つまり端において本来ならば隣の六角形に
属するはずの頂点は１／６＋２／３＋１／６＝１個と数
えることができる。若しくは、（１／３＋２／３＋２／
３＋１／３）／２＝１個（ブロック２つ当たりで数える
から２で割る）のように数えることができる。つまりど
ちら向きであっても端にある六角形には内部にある六角
形よりも一つ多く頂点が属している。

【００３３】この場合の頂点数は次のように数えること
ができる。一辺ｎの正方形状にブロックが並ぶとして、
総ブロック数をｎ² とすると、端にあるブロックは約４
（ｎ−１）となる。端にあるブロックには３つの頂点が
属するとして数えると総頂点数は次のようになる。

【００３４】

【数２】

【００３５】図１４の表はこの計算式に従って求めた頂
点数である。これにより各階層のブロック数がわかれば
頂点数を見積もることができる。最上位階層は図１１の
実例ではブロック数が４個であり、中間階層はブロック
数は１８個であるから表では１６個の場合と比較すれば
よい。最下位階層はブロック数が６０個であるから、こ
の場合実数計算で見積もると頂点数は約１４７個と求め
られる。実際には１５１個であるからよく合致してい
る。こうしてブロック数から頂点数を見積もることがで
きるようになるのである。各階層のブロック数は数の少
ない上位階層の場合には実際に画面を分割してみなけれ
ば正確にはわからないが、十分大きな数の下位階層であ
れば上述のように３倍に増やすことによりほぼ定められ
る。つまり上の例を変更して４層の階層構造を作ったな
らば、ブロック数は６０×３＝１８０個となり、ｎ＝√
１８０＝１３．４１６、このとき頂点数は４０９．６６
個と見積もることができる。よって階層数を４階層にし
てさらに下位の階層を形成するためには、２６３個の頂
点を付け加える必要がある。

【００３６】図２は本発明の第２実施例を示すフローチ
ャートである。これは動画像の動き探索方法である。第
１の処理１０において大六角形を構成する頂点において
動き探索処理が行われる。この結果図１０において示し
た大六角形７０を構成する頂点７１、７２、７３、７
４、７５、７６等における動きベクトルが求められる。
この動きベクトルに基づいて、第２の処理１２において
選択されなかった頂点７７、７８、７９、８０の動きベ
クトルを内挿予測する処理が行われる。これにより大六
角形に属さない頂点においては動きベクトルの予測値が
求められる。画像中の移動物体の大きさに比べて六角形
の大きさが十分小さい場合には、頂点における動きベク
トルの間に相関が強くなるために、大六角形７０を構成
する頂点の動きベクトルから、前記選択されなかった頂
点の動きベクトルを予測しても十分に正確な予測が可能
になるのである。この状況は他の上位階層を用いても同
じである。例えば図１０において大六角形８１を用いる
とすると、これを構成する頂点８２、８３、８４、８
５、８６、８７における動きベクトルを用いて、頂点８
８、８９、９０、９１、９２、９３の動きベクトルを内
挿予測すればよいのである。

【００３７】動きベクトルを内挿予測する処理は、代表
画素において求められた動きベクトルを複数個用いて、
動きベクトルが未知の代表画素における動きベクトルを
内挿して求めることである。これはその点においてピン
ポイントに動き補償を実行する処理ともいえる。つまり
動き補償を実行する際には領域内の各画素に対して順番
に動きベクトルを求めて、対応する画素の画素値を求め
ていくのであるが、特定の点に対して動きベクトルを求
める処理だけを実行することにより動きを内挿予測する
ことができるのである。

【００３８】階層間での動きベクトルの予測を行うに
は、上位階層の六角形の動きベクトルから予め求めてあ
る合成割合により一次結合したベクトルを求めればよ
い。上位階層の六角形を構成する代表画素を頂点Ｐ０か
らＰ５としその点で求められた動きベクトルをＶ０から
Ｖ５とする。予測すべき点に応じて予め定まる合成割合
をｒ０からｒ５とすると、予測ベクトルは次の式で表さ
れる。

【００３９】ｒ０Ｖ０＋ｒ１Ｖ１＋ｒ２Ｖ２＋ｒ３Ｖ３
＋ｒ４Ｖ４＋ｒ５Ｖ５ 本発明の動きベクトルの内挿予測方法は、階層性を利用
することを特徴とするが、この前提となるのは次のこと
がらである。すなわち、代表画素の動きベクトルたちの
間には十分な相関がある場合に、一部の動きベクトルた
ちから残りの動きベクトルが十分に推定可能なことを利
用したものである。つまり画像中に出現すると事前に推
定される移動物体の平均的な大きさよりも細かくパッチ
を設定したときに有効な方法である。

【００４０】次に図８に示す表の番号２で表される階層
構造を持つ場合に付いて具体的に求めた合成割合を図１
５に示す。但し六角形は正六角形とする。上位階層の代
表画素を図１０における頂点７１から７６とし、下位階
層に属する内挿すべき点は上位階層の六角形の中心点８
０の場合と、その周りにある３つの点７７から７９の場
合がある。中心点８０の場合は合成割合は六つとも同じ
値であり、その値は１／６である。

【００４１】 ｒ０＝ｒ１＝ｒ２＝ｒ３＝ｒ４＝ｒ５＝１／６ その他の３点の場合は、有限要素法により求めると図１
５の表のようになる。図１５の表中、ｃａｓｅ１は頂点
７１と頂点７２に近い位置にある下位階層の頂点７７の
場合である。同様に、ｃａｓｅ２は頂点７３と頂点７４
に近い頂点７８の場合、ｃａｓｅ３は頂点７５と頂点７
６に近い頂点７９の場合である。これらの総和は本来な
らば１になるはずであるが計算誤差のために完全に１に
はなっていない。しかし多少の誤差は動き補償の性能に
影響しない。

【００４２】次に図８の表中で番号３で表される階層構
造を持つ場合に付いて具体的に求めた合成割合を図１６
に示す。但し六角形は正六角形とする。上位階層の代表
画素は図１０の頂点８２から８７である。下位階層に属
する内挿すべき点は上位階層の六角形を１／２に縮小し
た六角形の頂点であり、頂点８８から９３である。合成
割合は有限要素法により次のように求められる。図１６
の表中でｃａｓｅ１は頂点８２に近い点８８の内挿の場
合を示し、ｃａｓｅ２は頂点８３に近い点８９の場合を
示し、ｃａｓｅ３は頂点８４に近い点９０の場合を示
し、ｃａｓｅ４は頂点８５に近い点９１の場合を示し、
ｃａｓｅ５は頂点８６に近い点９２の場合を示し、ｃａ
ｓｅ６は頂点８７に近い点９３の場合を示している。

【００４３】この動きベクトルの予測値を用いて、第３
の処理１４において内挿予測された動きを初期位置とし
て前記選択されなかった頂点において動き探索を行う処
理が行われる。処理１０の大六角形において求められる
動きベクトルはその大きさにほぼ等しい物体の動きを正
確に抽出することができる。そして、その物体上に存在
する詳細な部分の動きについては、選択されなかった小
パッチに属する頂点が処理１４により正確に抽出する。
つまり、大六角形を土台として、それに乗っているほぼ
同じ動きを持つ詳細な動きは、処理１２において大六角
形から予測される動きベクトルで近似することができ
る。このため、この予測された動きベクトルを初期位置
としてその周りの点を試行錯誤で評価することにより、
正確な動き探索が可能になる。

【００４４】階層的動き探索のメリットは次のように説
明される。現実的な時間内で処理を完了するためにブロ
ックマッチング法等により動き探索を行うのであるがこ
れはたかだか１６行１６列程度の領域の比較に頼ってい
る。動き探索アルゴリズムには可能な全ての動きについ
て評価を行う全探索と呼ばれる手法があるが、処理回数
が非常に大きいため、通常はスリーステップ探索アルゴ
リズムあるいは対数探索アルゴリズムという方法によ
り、評価すべき動きを一部のものに絞る方法が行われて
いる。このことも不正確な動きベクトルが求められる原
因となっている。つまり、ブロック中に特徴が無い場合
には評価関数の最小値以外にローカルミニマムが生じ易
いからである。

【００４５】その比較領域中にとりたてた特徴がないよ
うな画像においては、もっと広い領域を用いた探索を行
うべきであるが、これは上位階層の画像を用いて行うこ
とができる。つまり１６行１６列程度のブロックの類似
度を測定するブロックマッチング法では、このように探
索のスケールを可変にできない限り、そのブロック内に
特徴がない場合は正確な動きを求めることは困難であ
る。動く物体は、通常１６行１６列よりも大きなスケー
ルを持っていると考えられるから、まず上位階層におい
て、大きな領域の大まかな動きを求める。上位階層では
分解能が劣化しているから正確な動きベクトルは、下位
階層においてさらに動き探索を行うことによって求める
のである。このように階層的に行う動きベクトルの探索
は少ない処理で高速に実行でき、しかもローカルミニマ
ムにおちいる可能性が小さく真の動きに近い動きベクト
ルを得ることができるのである。

【００４６】ただし動き補償符号化方法においては、波
形符号化における符号量を減少させることが目的である
から、必ずしも実際の動きに合致した動きベクトルが求
められなくても有効である。もちろん、実際の動きに合
致した動きベクトルが求められれば動き補償による効果
は最大になり、波形符号化における符号量は非常に少な
くなると同時に動きベクトルの符号量自身も少なくなる
と期待される。というのは通常、用いられる動き探索方
法であるブロックマッチング法により得られる動きベク
トルは実際の動きとのずれであるノイズのために、伝送
符号量が増大してしまうことが多いからである。このよ
うな事態は、撮影された物体の特徴が乏しくブロックマ
ッチングに利用するブロックによく似た画像が周りにあ
る場合に起きる。つまり動きベクトルの精度は画像中に
表れる物体の大きさとその画像信号の勾配の性質等に大
きな影響を受ける。このような場合、本実施例のように
異なったスケールで探索を行い正確な動きを求めた後、
その動きベクトルを内挿することにより各所の動きを定
めることが有効である。

【００４７】図３は動き探索処理を示すフローチャート
である。動き探索は画面中に配置された代表画素につい
て順番に実行する。そこでまず処理２０において、一つ
の代表画素を探索のために指定する。次に処理２２で現
在の位置でのデフォルトの動きベクトルでの動き補償の
実行と評価関数の評価を行う。これはスリーステップア
ルゴリズムにおいて、過去の評価値と比較して良い方を
選択する必要があるのだが、一番最初の処理においては
過去の評価値が設定されていないから、これを求めてお
くためである。次に処理２４においてスリーステップ探
索アルゴリズムに従って、探索すべき動きベクトルの候
補を設定し、動き補償を実行し、評価関数を評価する。
次に判定処理２６において、得られた評価値と過去の評
価値を比較して、新しい評価値の方が誤差が小さいかど
うかを判定する。この結果がＹＥＳであれば、処理２８
において現在の評価値と、動きベクトルを比較用のメモ
リに記憶させ、判定処理３０へ移る。もし判定結果がＮ
Ｏであれば、何もせずに判定処理３０へ移る。判定処理
３０においては、スリーステップ探索が終了したかどう
かを判定している。結果がＮＯであればスリーステップ
探索を続行するため処理２４に戻る。結果がもしＹＥＳ
であれば、処理３２において現在記憶されている動きベ
クトルが最も誤差が小さいからこれをその点の動きベク
トルとして決定し、記憶する。次に判定処理３４におい
て画面に配置された全ての代表画素の探索を行ったかど
うかを判定する。結果がＮＯならばまだ探索すべき点が
あるから処理２０へ戻る。また結果がＹＥＳならば一通
り探索が終了したから、判定処理３６を実行する。判定
処理３６では繰り返して探索をするかどうかを判定す
る。これは動き探索は１回行っただけでは最適な状態に
達しないため２ないし３回繰り返して探索を行うことが
あるためである。結果がもしＹＥＳならば処理２０へ戻
って再び最初から探索を繰り返す。但しこのとき動きベ
クトルの探索は前回の探索結果の周りで行う。結果がも
しＮＯであれば終了してリターンする。このように試行
錯誤で種々の動きベクトルの候補を設定して評価を行
い、最も合致した場合のベクトルを動きベクトルとすれ
ばよいのである。つまり動きを探索する処理とは、試行
錯誤による動きベクトルの設定と、それによる注目点付
近の領域の動き補償の実行と、動き補償を行った画像の
部分と被予測画像の対応部分との合致度を測るという一
連の処理のことである。

【００４８】図４は動きベクトルを内挿予測する処理を
示すフローチャートである。処理が開始されると処理４
０において画面中にある上位階層に属する一つの大六角
形を順に指定する。次に処理４２においてこの大六角形
内にある内挿すべき頂点を一つ指定する。次に処理４４
において合成割合によって、大六角形の六つの頂点の動
きベクトルを線形結合して動きベクトルを合成する。次
に判定処理４６においてその大六角形内の内挿すべき点
は全て処理したかどうかを判定する。結果がＮＯならば
処理４２へ戻り、結果がＹＥＳならば次の判定処理４８
に移る。判定処理４８では上位階層にある大六角形は全
て処理したかどうかを判定する。結果がもしＮＯであれ
ばまだ未処理の大六角形があるから処理４０へ戻り、ま
たもしＹＥＳであれば終了してリターンする。このよう
に動きベクトルの内挿予測は、動き補償におけるのと同
じ原理で、予め求めておいた合成割合によって、一次結
合によりベクトルを内挿して求めるものである。このよ
うにして第２実施例は上位階層で求めた動きベクトルか
ら内挿予測した動きベクトルを下位階層の動き探索に利
用することにより、階層的動き探索を実現し、高速で高
精度な動き探索を可能にする。

【００４９】図５は本発明の第３実施例を示すフローチ
ャートであり、動画像の階層的動き補償符号化方法を表
している。これによれば、第１に処理５０において大六
角形を構成する頂点において動き探索を行い、得られた
動きベクトルを符号化する処理が行われる。この結果大
六角形を構成する頂点における動きベクトルが求められ
る。この動きベクトルに基づいて、第２に処理５２にお
いて大六角形を構成する頂点の動きに基づいて、選択さ
れなかった頂点の動きを内挿予測する処理が行われる。
これにより大六角形に属さない頂点においては動きベク
トルの予測値が求められる。画像中の移動物体の大きさ
に比べて六角形の大きさが十分小さい場合には、頂点に
おける動きベクトルの間に相関が強くなるために、大六
角形を構成する頂点の動きベクトルから、前記選択され
なかった頂点の動きベクトルを予測しても十分に正確な
予測が可能になるのである。第３に処理５４において前
記選択されなかった頂点において動き探索を行い、得ら
れた動きベクトルを前記内挿予測された動きに相対的な
動きベクトルとして符号化する処理が行われる。

【００５０】従来、動きベクトルの符号化には予測符号
化が用いられていた。例えば、一つ前の動きベクトルと
一行前の動きベクトルを用いて現在の動きベクトルの予
測ベクトルを求め、それからの差分ベクトルを伝送する
のである。これに対して本実施例はこのような単純な予
測符号化よりも良好な予測が、動きベクトルの内挿予測
を実行することにより可能であることを利用して、符号
量を削減するものである。六角形パッチにおいては、一
つの頂点の周りにはほぼ１２０度ごとに３つの頂点が最
も近い頂点として存在する。しかし形状の複雑さのため
に、正方格子状に代表画素が配置された場合の予測符号
化のような予測値を作成することは困難でる。このため
シーケンシャルなスキャンで予測符号化するよりも、階
層的な予測符号化の方がより高能率な予測が可能となる
のである。

【００５１】図６は本発明の第４実施例を示すフローチ
ャートである。これは動きベクトルの階層的誤り補償方
法であり、第１に処理６０において、動きベクトルの伝
送が行われる。このとき上位階層に属する頂点の動きベ
クトルは誤り訂正能力の高い符号により符号化され、下
位階層に属する頂点の動きベクトルはそれよりも誤り訂
正能力の低い符号により符号化される。例えば図１０に
示した大六角形７０を構成する頂点７１、７２、７３、
７４、７５、７６の動きベクトルは誤り訂正能力の高い
符号を用いて符号化され、下位階層にのみ属する、頂点
７７、７８、７９、８０はそれよりも誤り訂正能力の低
い符号で符号化されるのである。これらを受信した結
果、第２に判定処理６２として、下位階層に属する頂点
の動きベクトルの伝送に失敗したかどうか判定する。つ
まり、誤り訂正符号の能力が多少劣っているために誤り
が訂正できずに検出だけされた場合である。この判定結
果がＮＯの場合には伝送の失敗が無かったのでそのまま
終了する。一方結果がＹＥＳの場合、第３に判定処理６
４として、その頂点に隣接する３点の動きベクトルの伝
送が成功しているかを判定する。例えば図１０における
頂点７７において失敗した場合には頂点７１、７２、８
０が隣接する３つの頂点であるからこの動きベクトルが
伝送に成功しているかどうかを判定する。

【００５２】判定結果がＹＥＳならば隣接する３点の動
きベクトルの伝送は成功しているから、処理６８として
これら３点の動きベクトルの平均を用いて予測した動き
ベクトルを伝送に失敗した頂点の動きベクトルとして充
当する処理が行われる。一方判定結果がＮＯである場
合、隣接する３点の中にも伝送に失敗した点がある。こ
のとき処理６６として前記上位階層に属する六角形のう
ち伝送に失敗した前記第１の点を内部に含む大六角形を
構成する６つの頂点の動きベクトルから予測した動きベ
クトルを、前記第１の点の動きベクトルに充当する処理
が行われる。図１０で頂点７７に加えて頂点８０の伝送
にも誤りがある場合は、上位階層に属する六角形７０を
構成する頂点７１、７２、７３、７４、７５、７６の動
きベクトルから内挿予測した動きベクトルを頂点７７の
位置に充当する。この内挿予測は予め求めて置いた適当
な合成割合により、６つの動きベクトルを一次結合して
行うのである。この後、補充が完了したら誤りの補償処
理は終了する。

【００５３】従来例において動きベクトルを伝送する際
には、全ての頂点が平等に扱われ、かつ予測符号化によ
り符号化されるため、全ての動きベクトルについて誤る
ことのないように訂正能力の高い符号による伝送路符号
化を施して伝送を行う必要があった。このため、伝送レ
ート増大の原因となると同時に、一度誤りが生じると以
後復号画像が著しく劣化し、場合によっては復号自体が
できなくなるという問題があった。通信路の誤り率が上
昇した場合でも、上昇に見合った分だけ画質が徐々に劣
化する方がシステムの構築上は好ましい。このような機
能はグレースフルデグラデーション（ｇｒａｃｅｆｕｌ
ｄｅｇｒａｄａｔｉｏｎ）と呼ばれ、スケーラビリテ
ィとは密接な関係がある。つまり階層別に誤り訂正能力
の優劣を設定することによりこうした機能が実現できる
のである。そこで、情報に階層的なランクを設け、誤っ
てはならない部分と、多少誤っても画質に与える影響が
小さい部分とを分けると、少ない符号量でかつ、誤りに
強い柔軟なシステムが構築できる。本実施例はこの様な
階層化の概念に基づき、冗長度のある細かく配置された
パッチにおいて誤ってはならない一部の動きベクトル
と、これらから十分予測可能な多少誤っても影響の少な
い動きベクトルとに分けて処理を行うものである。

【００５４】

【発明の効果】以上説明したように本発明の方法によれ
ば、動き補償を階層的に行うことができるため、必要に
応じて、上位階層に属する少ない符号量から大まかな画
像を再生したり、下位階層に属する多くの符号量から詳
細な画像を再生することができる。また下位階層の動き
ベクトルを上位階層の動きベクトルから内挿予測するこ
とにより、階層間予測による多くの長所を、代表画素の
配置形状が六角形であっても、実現することができるよ
うになる。例えば、動き探索時には正確な動きベクトル
が求められ、動きベクトルを符号化するときには予測符
号化の符号量が削減され、動きベクトルの誤り補償を行
う時には下位階層の動きベクトルの誤りがあっても大ま
かな画像再生が可能になる。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示すフローチャート。

【図２】本発明の第２の実施例を示すフローチャート。

【図３】動き探索処理を示すフローチャート。

【図４】動きベクトルの内挿予測処理を示すフローチャ
ート。

【図５】本発明の第３の実施例を示すフローチャート。

【図６】本発明の第４の実施例を示すフローチャート。

【図７】画像の階層関係を示す図。

【図８】種々の上位階層の六角形格子の基本ベクトルＶ
（ｘ，ｙ）を示す表。

【図９】基本ベクトルのパッチ上での位置を示す図。

【図１０】代表的な上位階層の大六角形の位置関係を示
す図。

【図１１】実際の画面を３階層の六角形パッチで覆った
例。

【図１２】各階層のブロック数と頂点数の見積を示す
表。

【図１３】画面の端でのブロックあたりの頂点数を数え
る方法を説明する図。

【図１４】端の効果を考慮した場合に各階層のブロック
数と頂点数の見積を示す表。

【図１５】合成割合の具体的な値を示す表。

【図１６】合成割合の具体的な値を示す表。

【符号の説明】

２ 判定処理 ４ 上位階層の大六角形を処理単位に動き補償を実行す
る処理 ６ 下位階層の六角形を処理単位に動き補償を実行する
処理 １０ 上位階層の大六角形において行う動き探索処理 １２ 内挿予測処理 １４ 下位階層の頂点の動き探索処理 ２０ 探索する代表画素の選択処理 ２２ 現在位置での動き補償の実行と評価関数の評価 ２４ スリーステップ探索アルゴリズムでの次候補の設
定と、動き補償の実行と評価 ２６ 評価値の比較判定処理 ２８ 評価値の優れた方の動きベクトルと評価値の記憶
処理 ３０ スリーステップ探索の終了の判定処理 ３２ 動きベクトルの決定と記憶処理 ３４ 全ての代表画素の探索を終了したかどうかの判定
処理 ３６ 繰り返し探索するかどうかの判定処理 ４０ 上位階層の大六角形の指定処理 ４２ 大六角形内の内挿すべき頂点の指定処理 ４４ 一次結合により内挿予測処理 ４６ その大六角形内での内挿は終了したかの判定処理 ４８ 上位階層の大六角形は全て処理したかの判定処理 ５０ 大六角形による動き探索と符号化処理 ５２ 下位階層の頂点の動きベクトルの内挿予測処理 ５４ 下位階層の頂点の動き探索と符号化処理 ６０ 動きベクトルの階層別の伝送処理 ６２ 下位階層に属する頂点の伝送に失敗したかの判定
処理 ６４ 誤った頂点に隣接する３点の伝送に成功したかの
判定処理 ６６ 上位階層の大六角形から予測した動きベクトルで
充当する処理 ６８ 隣接する３点の動きベクトルで充当する処理 ７０、８１ 大六角形 ７１、７２、７３、７４、７５、７６ 上位階層の頂点 ７７、７８、７９、８０ 下位階層の頂点 ８２、８３、８４、８５、８６、８７ 上位階層の頂点 ８８、８９、９０、９１、９２、９３ 下位階層の頂点

Claims (2)

【特許請求の範囲】
1. 【請求項１】画面に配置した複数の同一形状の六角形の
   頂点の動きベクトルを利用する動画像の動き補償方法に
   おいて、前記六角形に含まれる画素ごとに、その頂点の
   六つの動きベクトルを予め定めた合成割合により一次結
   合して前記画素の動きベクトルを求めて動き補償を行う
   処理と、前記頂点のうち前記六角形よりも大きな大六角
   形を構成するように選択した一部の頂点の動きベクトル
   を用いて、大六角形内の画素ごとに、前記大六角形の頂
   点の六つの動きベクトルを予め定めた合成割合により一
   次結合して前記画素の動きベクトルを求めて動き補償を
   行う処理とを切り換えて実行することを特徴とする動画
   像の階層的動き補償方法。
2. 【請求項２】画面に配置した複数の同一形状の六角形の
   頂点の動きベクトルの内挿予測方法において、前記頂点
   のうち前記六角形よりも大きな大六角形を構成するよう
   に選択した一部の頂点の動きベクトルを決定する処理
   と、選択されなかった頂点ごとに、それを含む大六角形
   を構成する頂点の六つの動きベクトルを予め定めた合成
   割合により一次結合して前記選択されなかった頂点の動
   きベクトルを求める処理とからなることを特徴とする動
   きベクトルの内挿予測方法。