JPH06339136A - 動画像処理方法および装置 - Google Patents

Abstract

(57)【要約】 【目的】動きベクトルを用いて合成した画像に動きベク
トル場の不連続性に起因するブロック歪や、背景の大き
な歪が発生しない動きベクトル内挿を行うことができる
動画像処理方法を提供する。 【構成】動画像データのフレーム内に画素数よりも少な
い数の代表点１を設定して該代表点１の動きベクトル２
を検出し、この代表点１の動きベクトル２からフレーム
内の各画素３の動きベクトル４を内挿により求める動き
ベクトル内挿方法において、フレーム内に代表点１の動
きベクトル２が検出された領域と検出されない領域との
境界を示す動き不連続点５を設定して、この動き不連続
点５を結ぶ線６によりフレームを複数の領域に分割し、
各画素３の動きベクトル４を同一領域内にある代表点１
の動きベクトル２から内挿により求める。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、動画像の処理方法お
よび装置に係り、特に動画像の領域分割とそれに基づく
動きベクトルの内挿その他の処理を行う方法および装置
に関する。

【０００２】

【従来の技術】一般に、動画像データを圧縮符号化して
伝送する動画像符号化／復号化装置においては、動き補
償予測符号化が用いられる。動き補償予測符号化に際し
ては、隣接するフレーム間の画像の動きの方向と大きさ
を示す動きベクトを検出する動き検出と呼ばれる操作が
必要である。この動き検出について簡単に説明する。

【０００３】今、ある時刻のフレーム画像が図１８
（ａ）であり、次のフレーム画像が同図（ｂ）であった
とする。この場合、多くの横線が引かれた背景８１の前
を動物体（図ではボール）８２が左下から右下へ動いた
ことになる。なお、図１８では画像を模式的に２値画像
として描いているが、実際は主に濃淡画像について動き
検出が行われる。

【０００４】代表的な動き検出方法として、文献１：
「ＴＶ画像の多次元信号処理」（吹抜敬彦著 日刊工業
新聞社刊 １９８８年）、ｐｐ．２０３〜２０４に記載
された「マッチングによる動きベクトル測定」が知られ
ている。この方式について説明すると、まず図１８
（ｂ）のフレーム画像において、図１９に示すように動
きベクトル検出の代表点９１をＮ画素間隔で格子状に配
置する（ここではＮ＝４としている）。そして、各代表
点９１を中心とする４×４画素の正方形ブロック領域の
画像を図１８（ｂ）のフレーム画像から切り出して、そ
れを図１８（ａ）上でパターンマッチングし、同じ画像
パターンのある場所へのベクトルを該代表点の動きベク
トル９２とする。なお、動きベクトル９２は矢印の記号
で表し、矢印の付いていない代表点は動き（動きベクト
ル）が無いことを意味する。

【０００５】次に、動きベクトルを用いた画像合成につ
いて説明する。この画像合成においては、図１８（ａ）
に示す１フレーム前の画像と、図１９に示す代表点の動
きベクトル９２が与えられ、これらを用いて図１８
（ｂ）に示す現フレーム画像にできるだけ近い画像を合
成する。

【０００６】画像合成法としては、まずベクトル検出時
の操作をそのまま用いる方式がある。すなわち、各代表
点の動きベクトルで示される１フレーム前の４×４画素
の領域を切り出して、それを該代表点の周囲４×４ブロ
ックに置き、現フレーム画像を得る。これは図２１に示
すように、画素９３の動きベクトル９４として、同じ画
素９３が含まれるブロックの代表点９１の動きベクトル
９２をそのまま用いることに相当する。こうすると、隣
接する代表点９１の動きベクトル９２が異なる場合、動
きベクトルの分布（以後、動きベクトル場という）がブ
ロックの境界で不連続になり、図２０（ａ）に示すよう
に背景８１の部分にブロック状の歪が生じてしまう。

【０００７】このようなブロック境界での動きベクトル
場の不連続性を無くす目的で、文献２：「動画像の１６
ｋｂ／ｓ符号化」中屋雄一郎他著、画像符号化シンポジ
ウム予稿集ｐｐ．１２９〜１３２、１９９２年、に記載
されたパッチに基づく動き補償が考案されている。この
文献２では、動きベクトル検出の代表点を３角パッチの
頂点においているが、ここでは前述の方式との比較のた
め、同じものを４角にあてはめた場合について説明す
る。

【０００８】このパッチに基づく動き補償では、各画素
９３の動きベクトルはその周囲４つの代表点９１から双
一次内挿などの線形内挿によって求めることにより、図
２２に示すようにベクトル場に不連続な部分が生じな
い。従って、合成画像にブロック状の歪が生じることは
なくなるが、図２０（ｂ）のように背景が歪むという問
題が生じる。

【０００９】本来、画素の動きベクトル場には不連続部
がある。図１８（ｂ）の例では動物体８２の部分の画素
の動きベクトルの絶対値は大きいが、背景８１の部分で
は動きベクトルはゼロであり、両者の間に不連続部が存
在することになる。従来の動き検出器では、このような
動きベクトルが不連続となる境界を検出していないた
め、画像合成において正確な動きベクトルが得られな
い。この結果、動き補償予測符号化を用いた動画像符号
化／復号化装置においては、動きベクトルを用いた画像
合成によって復号される再生画像に圧縮再生歪が多く発
生していた。

【００１０】一方、動き領域を画素単位の細かい起伏の
ある線で設定すると、それを表すのに膨大な符号量が必
要となる。符号量を少なく抑える方法としては、例えば
文献３：「３次元動き推定と任意形状直交変換による動
画像符号化方式」横山裕著、画像符号化シンポジム予稿
集ｐｐ．７７〜８０，１９９２年、に記載されているよ
うに、動き領域を多角形で表現する方法が知られてい
る。

【００１１】しかし、この文献３に記載された方法で
も、多角形の頂点座標を絶対座標で表さなければなら
ず、比較的大きな符号量を必要とする。例えばｘ座標お
よびｙ座標のとり得る値がそれぞれ２５６通りあるとす
ると、これらｘ座標およびｙ座標を表すのにそれぞれ８
ビット必要であり、全部で２０個の頂点を表すとする
と、（８ビット＋８ビット）×２０＝３２０ビットもの
符号量となってしまう。さらに、文献３の方法では単に
フレーム間差分の大きい部分を動き領域とし、それを多
角形で近似しているだけであるため、必ずしも動き予測
誤差が最小となる多角形領域とはならないという問題が
ある。

【００１２】

【発明が解決しようとする課題】上述したように従来の
動き検出方式では、動きベクトルを用いて合成した画像
に動きベクトル場の不連続性に起因するブロック歪が生
じ、また不連続性を解消させた方式では背景が歪むとい
う問題があった。

【００１３】また、従来の動き領域設定方法では、領域
を表すのに多くの符号量が必要であり、また動き予測誤
差が多いという問題もあった。

【００１４】本発明は、このような従来の問題点を解決
できる動画像処理方法および動画像処理装置を提供する
ことを目的とする。

【００１５】

【課題を解決するための手段】本発明による第１の動画
像処理方法は、動画像データのフレーム内に画素数より
も少ない数の代表点を設定して該代表点の動きベクトル
を検出し、前記フレーム内に代表点の動きベクトルが検
出された領域と検出されない領域との境界または向きお
よび絶対値の少なくとも一方が異なる動きベクトルの境
界を示す動き不連続点を設定して、該動き不連続点を結
ぶ線により前記フレームを複数の領域に分割することを
特徴とする。

【００１６】本発明による第２の動画像処理方法は、動
画像データのフレーム内に画素数よりも少ない数の代表
点を設定して該代表点の動きベクトルを検出し、該代表
点の動きベクトルから該フレーム内の各画素の動きベク
トルを内挿により求める動きベクトル内挿方法に第１の
動画像処理方法を適用し、各画素の動きベクトルを上述
のようにして複数の領域に分割された同一領域内にある
代表点の動きベクトルから内挿により求めることを特徴
とする。ここで、「内挿」とは０次内挿である「置換」
も含むものとする。従って、各画素の動きベクトルを同
一領域内にある代表点の動きベクトルにより置換しても
よい。

【００１７】第１および第２の動画像処理方法におい
て、動き不連続点は代表点を結ぶ線上でもよいし、それ
以外の点でも構わない。代表点や動き不連続点の位置お
よび代表点の動きベクトルの値の設定法は特に限定され
ず、例えば予め設定した値にする方法、手動で設定する
方法および自動的に設定する方法などを適宜使用するこ
とができる。

【００１８】本発明による第１の動画像処理装置は、フ
レーム単位で逐次入力される少なくとも１フレーム分の
動画像データ記憶する記憶手段と、この記憶手段から読
み出された過去のフレームの動画像データと現フレーム
の動画像データから現フレーム内に設定した複数の代表
点の動きベクトルを検出する動きベクトル検出手段と、
この動きベクトル検出手段により代表点の動きベクトル
が検出された領域と検出されない領域との境界または向
きおよび絶対値の少なくとも一方が異なる動きベクトル
の境界を示す動き不連続点を検出する動き不連続点検出
手段と、この動き不連続点検出手段により検出された動
き不連続点を結ぶ線により前記現フレームを複数の領域
に分割する領域分割手段とを具備することを特徴とす
る。

【００１９】また、本発明による第２の動画像処理装置
は、動き検出装置において、上記のようにして検出され
た動きベクトルおよび動き不連続点の情報を伝送する伝
送手段を具備することを特徴とする。

【００２０】さらに、本発明による第３の動画像処理装
置は、画像合成装置において、少なくとも１フレーム分
の過去の動画像データを記憶する記憶手段と、現フレー
ム内に設定された複数の代表点の動きベクトルの情報お
よび該代表点の動きベクトルが検出された領域と検出さ
れない領域との境界または向きおよび絶対値の少なくと
も一方が異なる動きベクトルの境界を示す動き不連続点
の情報を入力とし、これら動きベクトルおよび動き不連
続点の情報と前記記憶手段から読み出された過去の動画
像データとから現フレームの動画像データを合成する合
成手段とを具備し、前記合成手段は前記動き不連続点を
結ぶ線により前記現フレームを複数の領域に分割し、同
一領域内にある前記代表点の動きベクトルから内挿によ
り該現フレーム内の各画素の動きベクトルを求め、この
動きベクトルで指定される位置の画素値を前記過去に合
成したフレームの動画像データから取り出して該画素の
画素値を得ることを特徴とする。

【００２１】

【作用】本発明による動画像処理方法においては、動き
不連続点を線で結んでフレーム内を複数の領域に分割す
ることにより、実際の動き不連続線にほぼ沿った領域境
界が得られる。従って、この領域分割結果を用い、各画
素がどの領域に属するかを判定し、その結果から同じ領
域内の１つ以上の代表点の動きベクトルを用いて該画素
の動きベクトルを内挿計算により求めることができる。
これによって、従来のように動きベクトル場が不連続の
異なる領域の動きベクトルの影響を受けることなく、実
際の動きに合った動きベクトルが得られる。

【００２２】また、動きベクトルの情報を利用して動き
領域を設定するので、どの代表点間に頂点を置くかとい
う情報を改めて符号に加える必要はなく、該代表点間の
どの位置に置くかを表す情報だけでよいので、非常にの
少ない符号量で領域を表現することができる。例えば頂
点の置ける場合の数を代表点間に１６通りとすると、２
０個の頂点を表現するには４ビット×２０＝８０ビット
でよいことになり、先の文献３に示した方法に比較して
格段に少ない符号量で済む。また、同じ例で頂点の置け
る場合の数を１通りとすると、領域を表現するビットは
全く必要がないことになる。

【００２３】また、第１の動画像処理装置においては、
動画像データは記憶手段と動きベクトル検出手段および
動き不連続点検出手段に入力される。記憶手段から読み
出される動画像データは、動きベクトル検出手段と動き
不連続点検出手段に入力される。動きベクトル検出手段
では、現フレームと１つ前のフレームの動画像データか
ら代表点の動きベクトルが検出される。動きベクトル検
出手段から出力され動きベクトルは、動き不連続点検出
手段に入力される。

【００２４】動き不連続点検出手段では、動きベクトル
が検出された代表点と動きベクトルがゼロベクトルであ
った、すなわち動きベクトルが検出されなかった代表点
との間に動き不連続点が検出される。この場合、検出さ
れた動き不連続点を直線や曲線で連結することにより、
背景などの静止している画像の前を物体が動いている場
合に、その動いている物体の領域を正確に表現できる。
また、動きベクトルの向きが異なる体表点の間に動き不
連続点を検出すれば、動きの向きが異なる複数の物体の
各々の領域を個別に表現できる。さらに、動きベクトル
の絶対値が異なる代表点の間に動き不連続点を検出すれ
ば、動く速さの異なる複数の物体の各々の領域を個別に
表現できることになる。

【００２５】動き不連続点検出において、始めは動き不
連続点を代表点間の所定位置に仮設定しておき、次に過
去のフレームの動画像データと動き不連続点によって合
成される動き予測画像データと現フレームの動画像デー
タとの誤差が小さくなるようにその仮設定された動き不
連続点の位置を修正してもよい。また、動きベクトル検
出手段と動き不連続点検出手段が互いの検出結果を送り
合えば、動きベクトルの異なる代表点間のみに不連続点
を設定したり、不連続点を設定した段階で動きベクトル
を修正することも可能となる。

【００２６】さらに、動画像処理装置を画像合成装置に
適用する場合においては、代表点の動きベクトルと動き
不連続点の情報が合成手段における画素動きベクトル計
算手段に入力される。画素動きベクトル計算手段では画
素毎の動きベクトルを代表点ベクトルから０次内挿、１
次内挿あるいはさらに高次の内挿を行って求めるが、動
き不連続点を接続することにより得られる不連続線を越
えた領域にある代表点の動きベクトルは用いないように
することにより、実際の画素動きベクトルに近い動きベ
クトルが得られる。こうして計算された画素動きベクト
ルは記憶手段に送られる。記憶手段は逐次的に合成した
動画像データを記憶保持しており、１フレーム前の合成
した動画像データから、画素動きベクトルで指定される
位置の画素値を別の記憶手段に送り、それによって随時
合成された同画像データが出力される。この場合、画素
の動きベクトルが実際の画像の動きに近いため、ブロッ
ク状の歪や背景部の大きな歪みのない画像の合成が可能
となる。

【００２７】

【実施例】以下、本発明の実施例を図面を参照して説明
する。

【００２８】図１は、本発明による動き内挿方法の一実
施例を説明するための図であり、あるフレームの動画像
データの一部を拡大して示している。図１において、画
素３は格子状に等間隔で並んでいる。代表点１は画素３
の４倍の間隔でやはり格子状に配置されている。代表点
１は、図に示されるように画素３と重ならないように配
置しても、重なるように配置しても構わないし、その間
隔も画素３の間隔の何倍でも構わない。

【００２９】代表点１には、検出された動きベクトル２
が与えられている。一般に、動きベクトル２の大きさお
よび方向は代表点１毎に異なるが、図では見易くするた
め大きさおよび方向が同じベクトルとして描いている。
また、矢印の付いていない代表点は動きがゼロであるこ
とを意味する。そして動き不連続点５は、この例では動
きがゼロの代表点と動きがゼロでない代表点を結ぶ線６
上に設定される。

【００３０】画素３の配置や代表点１の位置を所定の固
定値とすれば、画像合成を行うためには、代表点１の動
きベクトル２の情報と、動き不連続点５の情報（位置情
報）のみを符号化データに付加する付加情報としてフレ
ーム毎に出力すればよい。その際、本実施例では動きベ
クトル２がゼロの代表点と非ゼロの代表点の間に、動き
不連続点５を設定するように決めてあるので、動き不連
続点５がどの代表点の間にあるかという付加情報は不要
である。

【００３１】動き不連続点５の位置情報は、代表点１を
結ぶ線上の端点からの距離のみで済む。さらに、動き不
連続点５を代表点１を結ぶ線上の中点に置くように決め
ておけば、動き不連続点５の位置情報としての付加情報
も不要になる。

【００３２】本実施例では、これらの代表点の動きベク
トルおよび動き不連続点の情報から画素３毎の動きベク
トル４を内挿により求める。この内挿に際しては、まず
動き不連続点５を線６で結び、フレームを線６の右側と
左側の２つの領域に分割する。そして、画素の動きベク
トル４は原則として図２（ａ）に示すように周囲４つの
代表点１から双一次内挿で求める。

【００３３】但し、図２（ｂ）に示すように、この４角
形内に不連続を意味する線６がある場合には、線６を越
えた所にある代表点１の動きベクトル２は内挿計算に用
いない。図２（ｂ）の場合は、右下の代表点に仮想的に
右上と左下の代表点のベクトルの平均値があるとして双
一次内挿する。そうすると、図１に示したように内挿に
より求めた画素３の動きベクトル４の値は線６を境に不
連続になる。

【００３４】動き不連続点５を線６で結ぶ際、代表点１
を頂点とする４角形の４辺全てに動き不連続点が設定さ
れる場合がある。その場合、動き不連続点５を線６で結
ぶ方法としては、図３（ａ）（ｂ）に示す二つの方法が
あるが、いずれの方法にするかは別途情報を与えるか、
あるいは動きゼロの領域を広くするように設定するよう
にする。

【００３５】図４に、フレーム端の処理方法を示す。同
図に示すように、動き不連続点５を結ぶ線６は、動き不
連続点５からフレーム端に垂直に引く。また、画素３の
動きベクトル４の内挿は、仮想的にフレームの外側には
み出す４角形を考え、外側の代表点にはフレーム内で最
も近い代表点の動きベクトルがあるとして内挿を行えば
良い。

【００３６】なお、上記実施例ではベクトル不連続点５
は動きがゼロの代表点と動きがゼロでない代表点の間に
配置したが、図５に示すように動きベクトル２の向きが
異なる代表点の間に配置することも有効である。動きベ
クトル２の向きの判定は、例えばベクトルの内積を計算
し、その値が負であれば向きが異なると判定する。

【００３７】この場合、２つのベクトルの成す角度θが
９０°以上の時に向きが異なると判定されるが、例えば
θが４５°以上の時に向きが異なると判定したい場合
は、２つのベクトルを（ｘ₁ ，ｙ₁ ），（ｘ₂ ，ｙ₂ ）
としてθは次式で表される。

【００３８】 cosθ＝（ｘ₁ ＊ｘ₂ ＋ｙ₁ ＊ｙ₂ ） ／（sqrt（ｘ₁ ² ＋ｙ₁ ² ）＊（ｘ₂ ² ＋ｙ₂ ² ）） （１） ここで、＊は乗算、／は除算、sqrt( ) は平方根演算を
表す。従って、 sqrt(2) ／(2) ≧（ｘ₁ ＊ｘ₂ ＋ｙ₁ ＊ｙ₂ ） ／（sqrt（ｘ₁ ² ＋ｙ₁ ² ）＊（ｘ₂ ² ＋ｙ₂ ² ）） （２） の条件を満たすベクトルを向きが異なるとすればよい。
この式を用いれば、動きが僅かに異なる物体毎に、より
細かく領域を分割することができる。

【００３９】また、動きベクトルの絶対値が所定値Ｃ以
上のものを大きさが異なるものと判定する、すなわち Ｃ≦｜sqrt（ｘ₁ ² ＋ｙ₁ ² ）−sqrt（ｘ₂ ² ＋ｙ₂ ² ）｜ （３） の場合に大きさが異なるとして、この間に動き不連続線
を設定すれば、向きが同じでも動き速さの異なる物体も
別々の領域に分けることができる。

【００４０】さらに、上述した向きおよび絶対値の少な
くとも一方が異なる動きベクトルの境界を動き不連続点
として設定して、領域分割を行うことも可能である。

【００４１】次に、領域分割の具体的なアルゴリズムの
例を図２３に示すフローチャートを用いて説明する。こ
れは動きがほぼ等しく、互いに隣接する動きベクトルを
グループＭとしてまとめるアルゴリズムである。

【００４２】まず、初期状態としてグループＭは空集合
としておく（ステップＳ０）。次にフレーム内で絶対値
が最大である動きベクトルを見つけ、それをＶo とする
（ステップＳ１）。そして、Ｖo をグループＭに加える
（ステップＳ２）。ここまでの処理の様子を図２４の
（ａ）（ｂ）に示す。すなわち、図２４（ａ）に示す動
きベクトルが得られている時、（ｂ）の斜線で示すブロ
ックに対応するベクトルがＶo となる。斜線はグループ
Ｍに属することを示す。

【００４３】図２３に説明を戻すと、ステップＳ２の
後、グループＭの周囲でベクトルＶoと成す角度が所定
値以下のものをグループＭに加える（ステップＳ３）。
その結果、グループＭに新たに加わるベクトルがあった
かどうかを調べ（ステップＳ４）、あった場合はステッ
プＳ３に戻り、再びグループＭの周囲のベクトルを調べ
る。そして、グループＭの周囲に新たにＭに加えるべき
ベクトルがなくなった時点で、Ｍとそれ以外の境界に動
き不連続点を設定する（ステップＳ５）。ステップＳ３
〜Ｓ５の処理の様子を図２４（ｃ）〜（ｆ）に示す。す
なわち、（ｃ）では斜線の周囲に網点で示す８つのベク
トルとＶo とを比較し、その結果（ｄ）に示すように新
たに７つのベクトルがグループＭに加わる。次に、
（ｅ）に示す網点で示すベクトルとＶo とを比較し、
（ｆ）が得られる。次に、（ｇ）に網点で示す部分を調
べるが、その全てがグループＭには加わらないので、最
終的に（ｈ）に示すものが動きの等しいグループとな
り、（ｉ）のように他との境界線が設定されることにな
る。

【００４４】上述したアルゴリズムであれば、ほぼ動き
の向きの等しい代表点を単一の領域に納めることができ
る。当然、グループＭに加える条件にＶo との絶対値の
差が所定値以下というものを加えてもよい。領域を２つ
設定するには、上述したアルゴリズムでグループＭに入
らなかった代表点を用いて同様の処理を行って、もう一
つのグループを形成すればよい。また、Ｖo の絶対値が
所定値よりも小さい場合には動き領域を設定しないよう
にすれば、動きが殆どない場合に動き領域が設定される
ことがなくなり、領域を表す符号を無駄に費やすことが
なくなる。

【００４５】さらに、このような領域分割を行えば同じ
領域内にほぼ向きや絶対値の等しいベクトルが存在する
ことになるので、それらのベクトルの幾つかを省略し
て、省略した部分について周囲のベクトルを代用するよ
うにしてもほぼ正しい動きが得られる。このようにする
と、全てのベクトルを一つ一つ符号化する場合よりも少
ない符号量で動きベクトルの符号化ができる。また、こ
のような省略によって符号化するベクトルの数が減少し
ても、各代表点のグループ番号を符号化すれば、領域の
設定を正しく行うことができる。

【００４６】なお、上記実施例では図６（ａ）のように
動き不連続点５を結ぶ線６を直線としたが、図６（ｂ）
のように曲線としてもよい。

【００４７】さらに、代表点１の位置を図７のように３
角形の頂点になるように設定した場合でも、上記と同様
に代表点１の間に動き不連続点５を設定して、領域分割
を行うことができる。

【００４８】次に、図８を参照して本発明による動き検
出装置の一実施例を説明する。図８においては、第１の
制御部１４と他の構成要素の間の制御信号を伝送する信
号線は図が頻雑になるのを避けるために省略している。

【００４９】図８においては、動画像データ１０がフレ
ーム単位で逐次入力され、二つのフレームメモリ１１，
１２に交互に記憶される。フレームメモリ１１，１２は
一方が現フレーム用、他方が１フレーム過去のフレーム
用であり、その切替えは第１の制御部１４によって制御
されるスイッチ１３により１フレーム毎に行われる。こ
こでは、フレームメモリ１１が現フレーム用である場合
について説明する。動画像データ１０はフレームメモリ
１１に入力され、記憶保持される。フレームメモリ１２
には、１フレーム前の動画像データが既に記憶保持され
ている。

【００５０】各代表点の動きベクトルは、次のようにし
て検出される。第１の制御部１４から該当代表点の周囲
のアドレスを示すアドレスデータ２０がスイッチ１３に
送られる。スイッチ１３は２入力２出力のスイッチであ
り、予め制御部１４からの信号でアドレスデータ２０を
フレームメモリ１１のアドレスデータ２１としてフレー
ムメモリ１１に送るように設定されている。フレームメ
モリ１１からアドレスデータ２１で示されるアドレスに
ある代表点の周囲の現フレームの動画像データ２３が読
み出され、スイッチ１５に送られる。スイッチ１５は、
フレームメモリ１１からの動画像データ２３をデータ４
１として減算器３２に送るように予め設定されている。

【００５１】一方、第２の制御部３３からは逐次的に動
きベクトル情報４４が出力される。スイッチ３７は予め
動きベクトル情報４４を出力するように設定されてお
り、この動きベクトル情報４４が動きベクトル情報４８
として画素動きベクトル計算部３９に送られる。この
時、最適な動き不連続点の情報を保持するメモリ３６
は、初期設定として動き不連続点なしという情報を保持
しており、その情報４７がスイッチ３８に送られる。ス
イッチ３８は予め最適な不連続点情報４７を出力するよ
うに設定されており、この最適な不連続点情報４７が不
連続点情報４９として画素動きベクトル計算部３９に送
られる。

【００５２】画素動きベクトル計算部３９は、先に動き
ベクトル内挿方法の実施例で述べた通りの内挿計算を行
って、画素毎の動きベクトルを求め、その動きベクトル
から決まるアドレスデータ２５をスイッチ１３に送る。
スイッチ１３は、入力されたアドレスデータ２５をフレ
ームメモリ１２にアドレスデータ２２として送る。フレ
ームメモリ１２からアドレスデータ２２で示されるアド
レスにある１フレーム前の動画像データ２４が読み出さ
れ、スイッチ１５を介してデータ４２として画素内挿計
算部３１に送られる。

【００５３】画素動きベクトル計算部３９において求め
られる動きベクトルは一般に非整数になるので、それに
近い複数の整数値のアドレスデータ２５を画素動きベク
トル計算部３９は発生する。画素内挿計算部３１では、
アドレスデータ２５で指定される複数の１フレーム前の
動画像データ４２を用いた内挿計算を行い、内挿値を減
算器３２に送る。また、画素内挿計算に必要なベクトル
の小数部等の情報４０が画素動きベクトル計算部３９か
ら画素内挿計算部３１に送られる。なお、この部分は簡
易的に内挿された動きベクトルに近い整数アドレス１つ
のみで代表させることもでき、その場合は画素内挿計算
部３１は不要となる。

【００５４】減算器３２では、現フレームの動画像デー
タ４１と１フレーム前の動画像データ４２について、対
応する画素同士の減算を行うとともにその絶対値和を求
め、これを誤差信号４３として第２の制御部３３に送
る。制御部３３は、動きベクトル情報４４を様々に切り
替えて、誤差信号４３の値が小さくなる動きベクトル情
報を最適な動きベクトル情報４４としてメモリ３５に送
り、記憶保持させる。このようにして全ての代表点の動
きベクトルを決定し、各代表点の最適な動きベクトル情
報４４をメモリ３５に記憶保持する。

【００５５】次に、動き不連続点の検出は以下のように
して行われる。動き不連続点の検出に際しては、第１の
制御部１４はスイッチ３７，３８を先と逆に切り替え、
またゼロベクトルと非ゼロベクトルが検出された代表点
の周囲のアドレスデータ２０を発生する。第３の制御部
３４は、代表点の間の点の情報を逐次動き不連続点情報
４５として出力し、スイッチ３８はこれを動き不連続点
情報４９として画素動きベクトル計算部３９に送る。一
方、メモリ３５に保持されている動きベクトル情報４６
がスイッチ３７を介して動きベクトル情報４８として画
素動きベクトル計算部３９に送られる。以後の処理は動
きベクトルを求める時と同様であり、誤差信号４３が制
御部３４に逐次送られ、最適な不連続点情報４５がメモ
リ３６に保持される。

【００５６】ここで、動き不連続点情報４９は例えば図
２５に示すように、一方の代表点の近くから他方の代表
点の方向に逐次設定してその都度誤差を求め、この誤差
が最も小さくなる位置に決定する。但し、この動き不連
続点位置の移動範囲で誤差が変化し得る部分は、図２６
に斜線で示す部分のみであるから、この斜線部分の誤差
を調べれば十分である。

【００５７】なお、より誤差の少ない動きベクトルと動
き不連続点を検出したい場合は、上述の動きベクトルの
検出と動き不連続点の検出を交互に複数回行えば良い。
このとき演算量を少なくしたい場合は、動きベクトル情
報４４として予め設定されている全ての動きベクトルを
出力して誤差を評価するのでなく、先の動きベクトル検
出時に誤差が少なくなった所定数個のベクトルを各代表
点毎に記憶しておき、各代表点においてその記憶した動
きベクトルのみで誤差評価をし直すようにすればよい。
また、全ての代表点について動きベクトルを求め直さず
に、絶対値の大きいベクトルが検出されている代表点の
みについて再度動きベクトルを検出し直すことによって
も演算量を抑えることができる。

【００５８】以上のようにして得られた動きベクトル情
報４６と動き不連続点情報４７は、外部へ出力される。
次のフレームでは、スイッチ１３とスイッチ１５が切り
替えられ、先とは逆にフレームメモリ１２が現フレーム
用、フレームメモリ１１が１フレーム前のフレーム用と
してそれぞれ用いられる。

【００５９】次に、図９を参照して本発明による画像合
成装置の一実施例を説明する。図９において、図８の動
き検出装置で得られた動きベクトル情報４６と動き不連
続点情報４７が外部から入力され、画素動きベクトル計
算部５１に入力される。画素動きベクトル計算部５１で
は、先に動きベクトル内挿方法の実施例で述べた通りの
内挿計算を行って各画素毎の動きベクトルを求め、その
動きベクトルから決まるアドレスデータ５４をフレーム
メモリ５３に送る。

【００６０】フレームメモリ５３は初めは所定の初期画
像データに内容が設定され、その後は合成画像データ５
６を逐次記憶保持する。従って、フレームメモリ５３か
らはアドレスデータ５４で指示される位置の１フレーム
前の動画像データ５５が読み出され、これが現フレーム
の該画素の値としてメモリ５２に保持される。このよう
して現フレームの動画像データの全画素の値を求め、合
成画像データ５６として外部に出力する。

【００６１】図１１は、図８で説明した動き検出装置と
図９で説明した画像合成装置を動画像符号化装置に組み
込んだ一実施例を示すブロック図である。図１１におい
て、符号化対象画像データ４１が外部から入力され、動
きパラメータ検出器３０および減算器６１に送られる。
動きパラメータ検出器３０は、図８の破線で囲んだ部分
と同一構成であるため、説明は省略する。一方、フレー
ムメモリ５３からは１フレーム前の動画像データ４２が
読み出され、動きパラメータ検出器３０に送られる。

【００６２】動きパラメータ検出器３０から前述のよう
にして出力される動きベクトル情報４６と動き不連続点
情報４７は、合成器５０に送られるとともに外部へも出
力される。合成器５０は図９の破線で囲んだ部分と同一
構成であるため、その説明は省略する。合成器５０から
前述のようにして出力される合成画像データ５６は、減
算器６１と加算器６７に送られる。減算器６１では符号
化対象画像データ４１と合成画像データ５６の差分画像
データ６２を求め、符号化器６３に送る。

【００６３】符号化器６３の符号化方法としては、様々
な方法を用いることが可能であり、具体的にはＤＣＴ
（離散コサイン変換）等の変換符号化、ベクトル量子
化、予測符号化（先の文献１のｐｐ．２１３〜２９１参
照）などを用いることができる。符号化器６３から出力
された符号化データ６４は、復号化器（局部復号化器と
もいう）６５に送られるとともに、外部へも出力され
る。復号化器６５では符号化器６３と逆の変換操作によ
って差分画像データ６６を復号再生し、加算器６７に送
る。加算器６７によって合成画像データ５６と差分画像
データ６２とが加算されることにより、局部復号画像デ
ータ６８が作られ、フレームメモリ５３に記憶保持され
る。

【００６４】図１０は、図９で説明した画像合成装置を
動画像復号化装置に組み込んだ実施例を示すブロック図
である。図１０において、図示しない動画像符号化装置
からの符号化データ７１は復号化器７２に、動きベクト
ル情報４６と動き不連続点情報４７は合成器５０にそれ
ぞれ入力される。加算器７４では、復号化器７２からの
差分画像データ７３と合成器５０からの合成画像データ
５６を加算し、復号画像データ７５を得る。この復号画
像データ７５は、外部へ出力されるとともに、フレーム
メモリ５３に記憶保持される。

【００６５】動画像符号化装置から動画像復号化装置に
送られるデータは、図１１で説明したように符号化デー
タ６４と動きベクトル情報４６および動き不連続点情報
４７である。そこで、これらのデータの伝送順序につい
て以下に説明する。

【００６６】図１１の符号化器６３での符号化や、図１
１の復号化器６５および図１０の復号化器７２での復号
化は、正方形のブロック単位で行うことが可能である。
その正方形ブロックと代表点の位置関係の一例を図１３
に示す。ここで、Ｐijは動きベクトル代表点であり、Ｐ
１１，Ｐ２１，…と格子状に並んでいる。Ｂijは符号化
単位ブロック、ＨijはＰijとＰi+1jの間の不連続点、Ｖ
ijはＰijとＰij+1の間の不連続点であり、Ｂijの中心に
Ｐijが位置する。また、ＨijとＶijは不連続と判定され
た部分にのみある。この場合の伝送するデータは、Ｅi
j：Ｂijの部分の符号化データ６４、Ａij：Ｐijの動き
ベクトル情報４６と、上記のＨijとＶijである。

【００６７】図１４は、これらのデータの伝送順序の一
例であり、符号化データ６４の全部→動きベクトル情報
４６の全部→動き不連続点情報４７の全部としている。
ここで、Ｍは水平方向のブロック数、Ｎは垂直方向のブ
ロック数である。本例はデータ構造が簡単で良いが、画
像復装置器において１フレーム分のデータ全てを一時的
に保持しなければならず、その分だけのメモリが必要に
なる。また、ほぼ１フレーム全部のデータを受信してか
らでないと、画像の再生に着手できず、圧縮・再生の遅
延が大きくなってしまう。そこで、メモリの量をなるべ
く少なく、かつ遅延をなるべく小さくするための伝送順
序の例を次に示す。

【００６８】図１３において、 Ｂ11→Ｂ21→…→ＢM1→ Ｂ12→Ｂ22→…→ＢM2→ …………………→ＢMN の順で、復号化装置において処理されたとする。Ｂijの
部分を再生するには、最大で Ｅij、Ａi-1j-1、Ａij-1、Ａi+1j-1、Ａｉ-1ｊ、Ａij、
Ａi+1j、 Ａi+1j+1、Ａij+1、Ａi+1j+1 Ｈi-1j-1、Ｈij-1、Ｈi-1j、Ｈij、Ｈi-1j+1、Ｈij+1 Ｖi-1j-1、Ｖij-1、Ｖi+1j-1、Ｖi-1j，Ｖij、Ｖi+1j の情報が必要である。但し、Ｂijより左方や上方のブロ
ックは既に再生されているので、これらの情報の多くは
既に伝送されてきており、Ｂijの再生のために新たに必
要になる情報は、 Ｅij、Ａi+1j+1、Ｈij+1、Ｖi+1j のみである。すなわち、図１５に示すようにこれら４つ
の情報を１つのグループとして時間的に近接させて伝送
すれば、この部分を受信した段階でＢijの再生を行うこ
とができ、圧縮・再生の遅延が小さくなる。そして、ブ
ロックを順次再生していき、もはや使用しない情報はメ
モリから消すようにすれば、メモリ量も節約できること
になる。

【００６９】但し、画面端については ・ｊ＝１かつｉ＝１の時 Ｅ11、Ａ11、Ａ21、Ａ12、Ａ22、Ｈ11、Ｈ12、Ｖ11、Ｖ
21 ・ｉ＝Ｍの時 ＥMj ・ｊ＝１かつｉ＝１かつｉ＝Ｍの時 Ｅij、Ａi+11、Ａi+12、Ｈi1、Ｈi2、Ｖi+11 ・ｊ＝Ｎの時 ＥiN ・ｊ＝１かつｊ＝Ｎかつｉ＝１の時 Ｅ1j、Ａ1j+1、Ａ2j+1、Ｈ1j+1、Ｖ1j、Ｖ2j をグループとする。

【００７０】図１２は、ベクトル代表点１がブロック境
界線の交点上にある場合である。この場合も、ブロック
Ｂijに対して Ｅij、Ａｉ+1j+1 、Ｈij+1、Ｖi+1j をまとめて伝送すれば良い。

【００７１】次に、データの伝送順序と関連して、ＴＶ
電話・ＴＶ会議用画像符号化国際標準方式であるＣＣＩ
ＴＴ勧告Ｈ．２６１に近い形でのデータ構造の実施例を
説明する。Ｈ．２６１ではデータは層構造を形成し、フ
レーム層、ＧＯＢ（グループ・オブ・ブロック）層、Ｍ
Ｂ（マクロブロック）層およびブロック層よりなる。こ
れのうち、本実施例ではＭＢ層のみを変更する。他の層
はＨ．２６１と同じであるので説明は省略し、ＭＢ層を
図１６を用いて説明する。

【００７２】まず、Ｈ．２６１と共通のデータを以下に
示す。

【００７３】・ＭＢＡ（マクロブロックアドレス）：そ
の前に情報のあったマクロブロックからの相対アドレス ・ＭＴＹＰＥ（タイプ情報）：マクロブロックの種別、
どのデータ要素が現れるかの情報 ・ＭＱＵＡＮＴ（量子化特性）：これ以降のマクロブロ
ックに対する量子化特性 ・ＭＶＤ（動きベクトル情報）：一つ前のマクロブロッ
クの動きベクトルとの差 ・ＣＢＰ（有意ブロックパターン）：マクロブロックに
含まれる４つの輝度ブロックと２つの色差ブロックのう
ちどれが有意であるかを示す 但し、Ｈ．２６１と異なる点として、情報のないマクロ
ブロックとは、図２２においてＥij（Ｂijの符号）がゼ
ロかつＡi+1j+1（Ｐi+1j+1の動きベクトル）がゼロかつ
Ｐi+1jとＰi+1j+1の間に不連続点がなく、かつＰij+1と
Ｐi+1j+1の間に不連続点がない場合のＢijをいう。ま
た、ＭＴＹＰＥにおける動き補償ありのタイプは、Ａi+
1j+1が非ゼロであるという意味とする。同様に、ＭＶＤ
の動きベクトルは該当マクロブロックＢijの右下方の点
の動きベクトルＡi+1j+1である。

【００７４】次に、Ｈ．２６１には規定されていないデ
ータを以下に示す。

【００７５】・ＨＶ（第２のタイプ情報）：以下の４タ
イプのうちどのタイプかを示す。

【００７６】(1) 不連続点Ｈij+1、Ｖi+1jともあり (2) Ｈij+1のみあり (3) Ｖi+1jのみあり (4) 不連続点なし これはＭＴＹＰＥの前にあっても構わない。

【００７７】・Ｈ（第１の不連続点情報）：Ｈij+1の位
置情報（Ｐi+1jからの距離など） ・Ｖ（第２の不連続点情報）：Ｖi+1jの位置情報（Ｐij
+1からの距離など） 但し、復号化装置でＭＴＹＰＥに含まれる、動きベクト
ルがゼロか非ゼロかの情報からＨＶの情報を判定するこ
ともでき、その場合はＨＶは不要である。

【００７８】ＨＶを省略し、かつ向きの異なる動きベク
トルの間に不連続点を設定する場合は、ＭＶＤを受けて
から不連続点の有無を判定する必要があるので、ＨとＶ
の位置は図１７のようにした方が良い。

【００７９】以上の実施例では、４つの代表点で囲まれ
る４角形のうち、４辺のいずれかに動き不連続点がある
と、その４角形領域には動き不連続線が必ず含まれる。
しかし、場合によっては該４角形領域を従来例で説明し
た不連続線の無い内挿を行った方が誤差が小さくなるこ
とがある。そういう場合のために、不連続内挿する可能
性のある４角形については不連続内挿と連続内挿の切り
替えを可能とし、切り替えビットを付加することも可能
である。この方法を用いる場合で隣接する４角形がいず
れも連続内挿である時は、その２つの４角形に挟まれる
線分上に不連続点は不要になる。この切り替えビット
は、図１６または図１７のＨＶに含めれば良い。

【００８０】次に、本発明による領域分割法の他の応用
例として、画像切り出し装置に適用した実施例を説明す
る。図２７は、画像切り出し装置の実施例を示すブロッ
ク図である。同図において、入力される現フレームの動
画像データ４１はフレームメモリ１０１、図８中に示し
た動きパラメータ検出器３０および切り出し部１０２に
入力される。フレームメモリ１０１からは、動きパラメ
ータ検出器３０に１フレーム前のデータ１０４が入力さ
れる。動きパラメータ検出器３０からは、動き不連続点
情報４７が切り出し部１０２に入力される。

【００８１】切り出し部１０２は、現フレームの動画像
データ４１のうち動き不連続点４７で設定される領域内
の画像データのみを切り出し画像データ１０３として出
力する。前述したように、動きパラメータ検出器３０で
は動きのほぼ等しい部分を同一の領域として領域分割を
行っているので、動画像データ４１から被写体別に画像
データを切り出すことができる。また、複数の領域が存
在している場合には、切り出し部１０２に領域選択信号
１０５を与えることにより、選択した特定の領域の画像
データのみを切り出すこともできる。

【００８２】切り出し画像データ１０３の用途として
は、これを例えば画像データベースとして保存してお
き、必要に応じてこのデータベースを検索して所望領域
の画像データを読み出し、所望の画像を合成することが
できる。また、切り出された画像データのみを遠隔地に
伝送することも可能である。この場合、動物体の画像デ
ータのみが伝送されることになるが、動物体の監視用と
しては十分であり、例えばセキュリティシステムその他
の遠隔異常監視システムとして有効である。この場合、
フレームの画像データ全体を伝送するよりも情報伝送量
を節約できるという利点がある。また、画像切り出し装
置の他の用途として、切り出し画像の形状や画質から動
物体の認識を行うことも可能である。

【００８３】さらに、本発明は動き補償を用いたコンピ
ュータグラフィックスにも有効である。

【００８４】

【発明の効果】以上述べたように、本発明によれば動き
ベクトル内挿方法を用いればブロック状の歪や背景部の
大きな歪みのない画像の合成が可能となる。また、本発
明による動き検出装置では、動き領域を表すのに必要な
符号量が小さくて済み、動き予測誤差も少ないという利
点がある。本発明は、前述したように動画像符号化／復
号化装置に特に有用であり、また画像切り出し装置、コ
ンピュータグラフィックス等にも有効である。

【図面の簡単な説明】

【図１】本発明による動きベクトル内挿方法の一実施例
を説明するための図

【図２】同実施例における代表点の動きベクトルから画
素の動きベクトルを内挿する方法を示す図

【図３】同実施例における動き不連続点の連結例を示す
図

【図４】同実施例におけるフレーム端の処理方法を示す
図

【図５】同実施例における異なる動きベクトルの間を不
連続に内挿した図

【図６】同実施例における不連続点の連結例を示す図

【図７】代表点が３角形に配置された場合の図

【図８】本発明による動き検出装置の一実施例を示すブ
ロック図

【図９】本発明による画像合成装置の一実施例を示すブ
ロック図

【図１０】本発明による画像合成装置の他の実施例を示
すブロック図

【図１１】本発明による動き検出検出装置と画像合成装
置を組み合わせた実施例を示すブロック図

【図１２】符号化ブロックの一例を示す図

【図１３】符号化ブロックの別の例を示す図

【図１４】データ伝送順序の一例を示す図

【図１５】データ伝送順序の他の例を示す図

【図１６】データ構造の一例を示す図

【図１７】データ構造の他の例を示す図

【図１８】動きベクトル検出の原理を説明するためのフ
レーム画像の一例を示す図

【図１９】動きベクトル検出の原理を説明するためのフ
レーム画像上の代表点と動きベクトルを示す図

【図２０】従来の動きベクトル検出による動き補償合成
画像の一例を示す図

【図２１】従来の動きベクトル内挿方法の一例を説明す
るための図

【図２２】従来の動きベクトル内挿方法の他の例を説明
するための図

【図２３】本発明の他の実施例における領域分割方法の
アルゴリズムを説明するためのフローチャート

【図２４】同実施例の領域分割方法の具体例を示す図

【図２５】本発明における動き不連続点情報の設定方法
を説明するための図

【図２６】本発明における動き不連続点情報の設定方法
を説明するための図

【図２７】本発明による画像切り出し装置の実施例を示
すブロック図

【符号の説明】

１…代表点 ２…代表点の動きベ
クトル ３…画素 ４…画素の動きベク
トル ５…動き不連続点 ６…線

Claims (6)

【特許請求の範囲】
1. 【請求項１】動画像データのフレーム内に画素数よりも
   少ない数の代表点を設定して該代表点の動きベクトルを
   検出し、前記フレーム内に前記代表点の動きベクトルが
   検出された領域と検出されない領域との境界または向き
   および絶対値の少なくとも一方が異なる動きベクトルの
   境界を示す動き不連続点を設定して、前記動き不連続点
   を結ぶ線により前記フレームを複数の領域に分割するこ
   とを特徴とする動画像処理方法。
2. 【請求項２】動画像データのフレーム内に画素数よりも
   少ない数の代表点を設定して該代表点の動きベクトルを
   検出し、該代表点の動きベクトルから前記フレーム内の
   各画素の動きベクトルを内挿により求める動画像処理方
   法において、 前記フレーム内に前記代表点の動きベクトルが検出され
   た領域と検出されない領域との境界または向きおよび絶
   対値の少なくとも一方が異なる動きベクトルの境界を示
   す動き不連続点を設定して、該動き不連続点を結ぶ線に
   より前記フレームを複数の領域に分割し、前記各画素の
   動きベクトルを同一領域内にある前記代表点の動きベク
   トルから内挿により求めることを特徴とする動画像処理
   方法。
3. 【請求項３】フレーム単位で逐次入力される少なくとも
   １フレーム分の動画像データ記憶する記憶手段と、 この記憶手段から読み出された過去のフレームの動画像
   データと現フレームの動画像データから現フレーム内に
   設定した複数の代表点の動きベクトルを検出する動きベ
   クトル検出手段と、 この動きベクトル検出手段により代表点の動きベクトル
   が検出された領域と検出されない領域との境界または向
   きおよび絶対値の少なくとも一方が異なる動きベクトル
   の境界を示す動き不連続点を検出する動き不連続点検出
   手段と、 この動き不連続点検出手段により検出された前記動き不
   連続点を結ぶ線により前記現フレームを複数の領域に分
   割する領域分割手段とを具備することを特徴とする動画
   像処理装置。
4. 【請求項４】フレーム単位で逐次入力される少なくとも
   １フレーム分の動画像データ記憶する記憶手段と、 この記憶手段から読み出された過去のフレームの動画像
   データと現フレームの動画像データから現フレーム内に
   設定した複数の代表点の動きベクトルを検出する動きベ
   クトル検出手段と、 この動きベクトル検出手段により代表点の動きベクトル
   が検出された領域と検出されない領域との境界または向
   きおよび絶対値の少なくとも一方が異なる動きベクトル
   の境界を示す動き不連続点を検出する動き不連続点検出
   手段と、 前記動きベクトルおよび動き不連続点の情報を伝送する
   伝送手段とを具備することを特徴とする動画像処理装
   置。
5. 【請求項５】前記動き不連続点検出手段は、前記代表点
   のうち動きベクトルが検出された代表点と検出されない
   代表点との間、または向きおよび絶対値の少なくとも一
   方が異なる動きベクトルが検出された代表点の間の所定
   位置に予め動き不連続点を仮設定し、前記過去のフレー
   ムの動画像データと前記動き不連続点によって合成され
   る動き予測画像データと現フレームの動画像データとの
   誤差が小さくなるように前記仮設定された動き不連続点
   の位置を修正することを特徴とする請求項３または４に
   記載の動画像処理装置。
6. 【請求項６】少なくとも１フレーム分の既に合成された
   動画像データを記憶する記憶手段と、 現フレーム内に設定された複数の代表点の動きベクトル
   の情報および該代表点の動きベクトルが検出された領域
   と検出されない領域との境界または向きおよび絶対値の
   少なくとも一方が異なる動きベクトルの境界を示す動き
   不連続点の情報を入力とし、これら動きベクトルおよび
   動き不連続点の情報と前記記憶手段から読み出された過
   去の動画像データとから現フレームの動画像データを合
   成する合成手段とを具備し、前記合成手段は前記動き不
   連続点を結ぶ線により前記現フレームを複数の領域に分
   割し、同一領域内にある前記代表点の動きベクトルから
   内挿により該現フレーム内の各画素の動きベクトルを求
   め、この動きベクトルで指定される位置の画素値を前記
   過去に合成したフレームの動画像データから取り出して
   該画素の画素値を得ることを特徴とする動画像伝送装
   置。